Data Engineer

Мы строим хранилище данных VK Рекламы: от сырых логов до отчётов, на которые опираются бизнес, аналитика и рекламные продукты. Сейчас в процессе большая миграция AdTech DWH с legacy-кластера ClickHouse TRG-1 на новый стек: YTsaurus (jupiter) для хранения и вычислений и управляемый ClickHouse (MDB adh-analytics) для аналитики, с интеграцией в OneDWH (проект ADA).

Задачи

• Разработка и сопровождение ETL/ELT-пайплайнов на YQL (YTsaurus) и ClickHouse
  
• Участие в миграции таблиц и отчётности TRG-1 на YT + MDB
  
• Поддержка DAG'ов в Airflow 
  
• DQ-проверки, мониторинг свежести данных, разбор инцидентов и аномалий
  
• Поддержка отчётности в Horizon BI (Superset/DataLens), взаимодействие с аналитиками
  
• Дежурства в онколле с наставничеством на старте
  

Требования

• Уверенный SQL, опыт с ClickHouse или другой колоночной/аналитической СУБД
  
• Опыт работы с ETL-пайплайнами и оркестратором Airflow или аналогами
  
• Python на уровне написания рабочих скриптов автоматизации
  
• Базовое понимание DWH: слои, моделирование, backfill
  
• Git, умение разбирать расхождения в данных и докопаться до первопричины
  

Будет плюсом

• Знание YTsaurus/YQL
• Опыт миграций данных между кластерами
• AdTech-домен (показы, клики, биллинг, ORD/ABC)