Data Engineer (Hadoop, PySpark)

О компании и команде

• Миграция интеграций корпоративного хранилища данных между платформами Hadoop от разных поставщиков
• Рефакторинг интеграций в экосистеме Hadoop, в частности переход от Hive к Spark SQL
• Оптимизация ETL процессов в среде Hadoop

Ожидания от кандидата

• Высшее техническое образование
• Опыт работы в IT от 3х лет
• Опыт проектирования и разработки хранилищ данных и ETL-процессов (опыт использования Apache AirFlow будет преимуществом)
• Глубокое понимание архитектуры Hadoop (HDFS, MapReduce), умение конфигурировать настройки параметров сессий.
• Опыт использования технологий Apache Spark, Apache Iceberg, Apache Ozone
• Уверенное владение языком Python (библиотеки Pandas, NumPy, PySpark API)
• Опыт работы с Trino или Amazon S3, как преимущество

Условия работы

• Компенсация мобильной связи и мобильного интернета МегаФона
• Обучение и развитие в МегаАкадемии и мобильном приложении МегаФон Драйв
• Маркетплейс льгот и сервисов Mega4you: акции и специальные предложения от партнёров компании
• Добровольное медицинское страхование, включая стоматологию
• Страхование жизни и страхование от несчастных случаев (24/7), страхование выезда за рубеж
• Льготы и бонусы: возможность собрать свой индивидуальный пакет бенефитов (спорт, здоровье, путешествия, транспорт, питание и другое)