Data Еngineer (Python, Hadoop, Spark)

X5 Group — лидер офлайн- и онлайн-рынка продуктов питания. Мы управляем портфелем брендов сетевых магазинов «Пятёрочка», «Перекрёсток», «Чижик», цифровыми бизнесами «Перекрёсток Впрок», 5Post, а также собственными службами логистики, прямого импорта и рядом цифровых сервисов для партнёров.

Х5 Технологии — это отдельная бизнес-единица X5 Group, которая отвечает за создание комплексных цифровых решений для бизнес-единиц X5.

Наша команда — это 5000+ специалистов по информационным технологиям и большим данным. Мы разрабатываем решения, которые помогают десяткам миллионов людей.

Стек: Python, SQL, Spark/Hadoop, Airflow.

Обязанности:

• Написание пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными, их обновление, расчет метрик качества данных для мониторинга).
• Оптимизация расчета фичей для модели для выдерживания SLA при масштабировании продукта под большее количество магазинов.
• Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana.
• Написание unit тестов (pytest), тестов для различных участков ML-пайплайна, участие в код-ревью.
• Не обязательно, но будет большим плюсом: опыт работы с ML, выведения ML-моделей в продакшн.

Требования:

• Опыт в применении основных подходов к распределенной обработке больших данных (MapReduce, MPP, etc).
• Опыт в применении основных подходов и практик проектирования OLAP-баз данных.
• Знание основных подходов и практик проектирования реляционных баз данных.
• Знание языков программирования Python (Java, Scala).
• Знание SQL.
• Знание основных рабочих инструментов: Hadoop, Hive, Spark, Airflow, PostgreSQL, Git, Docker.
• Знание Greenplum, Clickhouse.
• Знание Kafka.
• Знание K8s.

Мы предлагаем:

• Схема мотивации: Fix + 15% квартальный бонус + 5% годовой бонус.
• Удобный офис в Москве или 100% удаленная работа.
• Гибкий график работы.
• Обратная связь, возможность профессионального и карьерного роста (2 раза в год оценка персонала).
• Возможность обучаться и сертифицироваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, отраслевые конференции, программа развития управленческих навыков, очные мастер-классы, платформы онлайн-образования и многое другое.
• Яркую корпоративную жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации.
• Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья.
• Программу привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров).
• Материальную помощь сотрудникам, попавшим в сложную жизненную ситуацию.

Присоединяйся к одной из самых быстрорастущих цифровых команд России!

X5 Group. Создавай новый ритейл