DWH-разработчик

Наша команда занимается построением и масштабированием хранилищ данных для экосистемы VK, где ежедневно обрабатываются петабайты информации и миллиарды событий. Наши решения используют такие продукты, как Почта, Облако, RuStore, VK Tech, Маруся и многие другие.

Вам предстоит разрабатывать и поддерживать ETL-процессы с использованием Airflow и Spark, глубоко погружаться в оптимизацию запросов ClickHouse и распределённых вычислений в Spark. Мигрировать наши продукты в облачные сервисы с использованием Kubernetes и YT, развивать инструменты, позволяющие аналитикам самостоятельно строить витрины данных.

Ключевые технологии, с которыми вы будете работать: Python как основной язык разработки, ClickHouse для аналитических запросов, Apache Spark для распределённой обработки данных, Airflow для оркестрации процессов.

Если вы хотите работать с реальными Big Data в распределённых системах — добро пожаловать в нашу команду! Мы предлагаем возможность участвовать в масштабных проектах, профессионально расти и решать интересные технологические задачи.

Задачи

• Разработка DWH-платформы
• Проектирование схем для хранения данных
• Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и так далее)
• Автоматизация data-pipelines, ETL-процессов
• Автоматизация построения витрин данных
• Организация CI/CD и мониторинга процессов обработки данных
• Готовность разбираться в чужом коде, ревью кода в команде

Требования

• Опыт DWH-разработки от года
• Знание Python
• Работа с Linux & Bash

Будет плюсом

• Понимание принципов работы классических СУБД
• Знакомство с экосистемой Hadoop и опыт работы с ней
• Опыт работы с ClickHouse
• Опыт организации ETL-процессов обработки данных