Старший инженер систем больших данных

Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)\nНастраивать хранение и доступность данных в DWH \nАвтоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари\nРаботать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей\nУчаствовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

В нашей команде тебя ждет:

• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно) • Настраивать хранение и доступность данных в DWH • Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари • Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей • Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

Мы ждем тебя, если ты имеешь:

• PySpark{2,3} / Spark SQL\nHadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum \nAirflow\nPython3\nDocker, YARN / k8s\npytest