Дата-инженер в Яндекс Еду

Яндекс Еда — это сервис доставки еды из ресторанов и магазинов. Наша цель — создать лучший фудтех-продукт на рынке, и для этого нам предстоит решить множество непростых и интересных задач.

Мы расширяем команду и ищем дата-инженеров в команду DWH. Служба разработки платформы управления данными (DMP) формирует актуальные и полные данные для сервиса.

Нам нужны инженеры данных, которые вместе с аналитиками будут проектировать и оптимизировать сложные расчёты и алгоритмы, а также разрабатывать инструменты для сотен бизнес-пользователей.

Какие задачи вас ждут

Разработка и поддержка ETL-процессов
Вам предстоит проектировать, реализовывать и поддерживать процессы извлечения, трансформации и загрузки данных. Задачи включают настройку стабильных и надёжных пайплайнов, работу с большими объёмами информации и оптимизацию существующих решений, чтобы можно было обеспечивать высокую производительность и качество данных.

Обработка данных для аналитики
Вы будете работать с исходными данными: очищать, нормализовать и агрегировать их. Нужно обеспечивать правильную структуру и полноту данных для аналитики. Также потребуется взаимодействовать с аналитиками и другими командами, чтобы уточнять требования к данным.

Расчёт бизнес-метрик
Вам предстоит вместе с командой аналитиков реализовывать расчёт ключевых показателей, обеспечивать корректность формул, стабильность обновлений и прозрачность логики. Также нужно будет поддерживать и при необходимости обновлять расчёты, если изменятся бизнес-требования или источники данных.

Мы ждем, что вы

• Работали с отладчиками и верификаторами
• Уверенно программируете на Python
• Разбираетесь в классических алгоритмах и структурах данных
• Хорошо знаете SQL и понимаете устройство современных реляционных баз данных
• Понимаете и можете объяснить необходимость непрерывной интеграции и непрерывной доставки (CI/CD), преимущества использования Git и код-ревью

Будет плюсом, если вы

• Руководили стажёрами или начинающими специалистами
• Работали по методологии Agile
• Участвовали в проектировании хранилищ данных
• Создавали сложные высоконагруженные процессы ETL и ELT (отдельным плюсом будет знание инструментов Luigi и Airflow)
• Разрабатывали процессы обработки сложных событий (CEP) во времени, приближенном к реальному (Kafka Streams, Spark, Flink)
• Знакомы со стеком технологий Hadoop, Spark, Hive
• Работаете со специализированными аналитическими базами данных (Greenplum, Vertica, ClickHouse, Teradata) и аналитическими инструментами на базе Python (Jupyter, Pandas, SciPy, Matplotlib, Bokeh)
• Программируете на C++