Data Engineer (AI)

Мы развиваем технологии искусственного интеллекта для ключевых продуктов VK, создаем систему рекомендаций и поиска контента на наших платформах.

Задачи

• Построение новых и оптимизация существующих ETL- и ELT-процессов в одном из самых больших хранилищ данных в России.
• Разработка витрин данных совместно с аналитиками, доставка их до production.
• Разработка и внедрение CI/CD-пайплайнов.
• Разработка новых и доработка существующих модулей аналитической платформы.

Требования

• Уверенное владение SQL на уровне написания сложных запросов (аналитические функции, timeseries-аналитика).
• Уверенное владение Python (ООП, структуры данных, алгоритмы).
• Опыт работы с Airflow.
• Умение и желание разбираться в сложных процессах преобразования данных.
• Опыт работы с большими объемами данных.

Будет плюсом

• Опыт разработки на Scala.
• Опыт работы с Apache Spark.
• Опыт работы с YTSaurus.
• Опыт работы с ClickHouse.