Data Engineer (Python + Spark)

$19

В нашей команде тебя ждет:

• В команде разработывается ML-система, детекирующая Out-of-stock ситуации и аномалии в продажах, которая в near-real-time выявляет потенциальные проблемы с наличием товара и отправляет предупреждения сотрудникам магазинов для оперативной проверки и выкладки. • 🔹 Задача • Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике • • Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно) • • Настраивать хранение и доступность данных в DWH • • Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари • • Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей • • Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

Мы ждем тебя, если ты имеешь:

• Наш стек\n\n• PySpark{2,3} / Spark SQL\n\n• Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum\n\n• Airflow\n\n• Python3\n\n• Docker, YARN / k8s\n\n• pytest

Условия работы

• Офис • Москва