Data engineer

Описание

Разработки и поддержки витрин данных в Hadoop (HDFS, Iceberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket

Обязанности

• разработка DWH/DataLake/LakeHouse • построение поставки данных в Batch • оптимизация sparkовых джоб • разработка и валидация архитектуры данных

Требования

• отличное знание SQL (join, CTE, оконные функции, фреймы и др.) • опыт работы с Hadoop, Spark, Iceberg • опыт работы с оркестраторами (например, Airflow) и CI/CD • практическое знание Python (можно Scala) на уровне разработки ETL • практический опыт разработки промышленных ETL потоков

Условия

* офисный формат работы (Кутузовская) * годовой бонус и ежегодный пересмотр зарплаты * расширенный ДМС с первого дня и льготное страхование для семьи * корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях * льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм, скидки от партнеров и сервисов группы компаний