Data Engineer (Middle+ / Senior)

Чем предстоит заниматься:

• Развитие DWH и ETL/ELT процессов: Проектировать, оптимизировать и поддерживать витрины данных и сквозные пайплайны. Разрабатывать и поддерживать DAG-и в Apache Airflow с соблюдением цикла dev → preprod → prod.

• Работа с ClickHouse на глубоком уровне: Логическое и физическое проектирование DDL, работа с семейством движков MergeTree (включая ReplacingMergeTree), оптимизация тяжелых аналитических запросов, настройка словарей (dictionaries), партиционирование и историческая прогрузка данных.

• Внедрение и развитие CDC-процессов: Проектировать и поддерживать потоки Change Data Capture для стриминга данных из MySQL и MongoDB в ClickHouse на базе Apache Kafka. Переводить источники на CDC, валидировать схемы, разбирать рассинхроны.

• Обеспечение Data Quality: Внедрять сквозные сверки между источниками и целевым хранилищем, искать и устранять расхождения, обрабатывать сложные типы данных и NULL-значения. Настраивать алертинг на качество и своевременность «доезда» данных.

• Инфраструктура и мониторинг: Поддерживать инструменты разработки пайплайнов, мониторить работоспособность инфраструктуры данных, выявлять и устранять технические проблемы производительности.

• Документирование и CI/CD: Участвовать в код-ревью через Merge Requests в GitLab, вести и поддерживать актуальную техническую документацию по пайплайнам и витринам в Confluence.

Наши ожидания от кандидата:

• Опыт: От 3–5 лет коммерческого опыта в администрировании, построении и оптимизации ETL/ELT процессов.

• Продвинутый SQL: Умение писать сложные, высокооптимизированные аналитические запросы.

• Хранилища и БД: Отличные практические знания связки ClickHouse + MySQL.

• Работа с NoSQL: Глубокий опыт работы с MongoDB (извлечение, нормализация сложных вложенных структур, сверки с реляционными базами).

• Стриминг и оркестрация: Практический опыт внедрения CDC-процессов, работы с Apache Kafka и построения DAG-ов в Apache Airflow (на Python).

• Качество данных: Реальный опыт проектирования систем мониторинга данных и разбора багов до первопричины.

Будет большим плюсом (Nice-to-have):

• Опыт работы с высоконагруженными транзакционными данными в реальном времени (Real-time Transactional Data): понимание специфики транзакций, балансов, игровых сессий пользователей или финтех-логики.

• Опыт работы с Google Cloud / BigQuery (перегон больших объемов данных в ClickHouse, сверки DQ между хранилищами).

• Навыки работы с инструментами веб-аналитики (Google Analytics).

• Настройка мониторинга пайплайнов в Grafana, понимание принципов работы BI-систем (Power BI) как конечных потребителей ваших витрин.

• Опыт работы со схемами данных в Draw.io / YouTrack.

Общие условия:

• Формат работы: офис в Тбилиси, гибридный или удаленный формат.
• График: 5/2, 8-часовой рабочий день с гибким началом.
• Социальный пакет: 24 календарных дня оплачиваемого отпуска и оплачиваемые больничные, 4 дополнительных Day Off в году для личных нужд.
• Атмосфера: корпоративные мероприятия, обучение и всесторонняя поддержка со стороны коллег.