Data Engineer (ON Медиа, КИОН)

КИОН – онлайн-кинотеатр, который предлагает более 150 телеканалов, тысячи фильмов, сериалов, мультфильмов и документальных проектов. Флагманское направление платформы – оригинальный контент. Среди originals КИОН такие хиты, как «Почка», «Обоюдное согласие», «Первый номер», «Хрустальный» и «Актерище», новые проекты выходят первого числа каждого месяца.

Описание проекта и команды: Отдел платформеных данных занимается внедрение lakehouse нового поколения,в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.

Чем предстоит заниматься

• Разработка и рефакторинг ETL/ELT пайплайнов на pyspark
• Разработка и поддержка OLAP движков Starrocks/Clickhouse
• Поддержка текущих пайплайнов на Greenplum и Hadoop
• Миграция с HDFS на S3
• Оптимизация spark-приложений

Кого мы ищем

• Опыт работы с Python от 3 лет
• Глубокое знание SQL и опыт работы с большими данными
• Опыт работы с Apache Airflow Опыт проектирования и разработки ETL/ELT процессов
• Опыт работы с колоночными БД (ClickHouse)
• Знание принципов построения Data Warehouse и Data Lake
• Понимание разницы между OLTP/OLAP системами
• Уверенная работа c linux и git
• Понимание процессов ci/cd

Что мы предлагаем

• Оклад + годовой бонус
• Программа ДМС с первого месяца работы - это 100% покрытие расходов в частных клиниках, включая стоматологию. Застраховать близких родственников можно со скидкой 50%. Для любителей путешествий - страховка в поездках за границу. А еще есть страхование жизни
• Очное и онлайн-обучение в Корпоративном университете, у внешних провайдеров, если это полезно для работы, обмен опытом во внутренних профессиональных сообществах, а также доступ к онлайн-библиотеке в полезными книгами и периодикой
• Оплачиваемые выходные на значимые события в жизни сотрудника
• Материальная помощь в сложных жизненных ситуациях
• Корпоративная мобильная связь + интернет, а так же единая подписка МТС Premium (онлайн кинотеатр KION, сервис МТС Music, МТС Строки и т.д.)
• Предложения от партнёров для путешествий, развлечений и занятий спортом
• Возможность участия в волонтерских программах: мы организуем благотворительные ярмарки, образовательные проекты для детей, конкурсы социальных проектов и экологические проекты
• Внутренняя спортивная программа «В движении» : забеги, марафоны, турниры по разным видам спорта, медитации и занятия на баланс