Data Engineer в Маркет

Яндекс Маркет — один из крупнейших мультикатегорийных маркетплейсов, которым ежедневно пользуются миллионы людей. Наши команды помогают покупателям приобретать товары не выходя из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов.

Мы команда инженеров данных, и наш продукт — Data Warehouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Наши пользователи — как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.

Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт — и с учётом темпов роста бизнеса обещает стать самым большим. К нему предъявляются высокие требования по надёжности, что ставит перед нашей командой нетривиальные задачи, для которых нет готовых решений.

Какие задачи вас ждут

Принятие конечных сетевых решений по реализации поставок данных
Вам предстоит проектировать схемы поставок данных, выбирать подход к внесению доработок в витрины за оптимальное время с минимизацией рисков от релизов. И ещё нужен будет критический взгляд на результат в интересах потребителей данных.

Развитие фреймворков обработки данных
Вы будете применять существующие инструменты работы с данными и выделять их недостатки, продвигать повестку по их улучшению или поиску новых для более эффективного решения задач.

Руководство реализацией сложных технических поставок
Нужно будет разбираться в алгоритмической составляющей инструментов и находить эффективные решения, в том числе упрощая постановку задачи.

Больше о разработке в Яндексе — в канале Yandex for Developers

Мы ждем, что вы

• Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
• Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
• Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
• Умеете выбирать технологии для решения конкретных задач
• Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
• Имеете опыт работы от трёх лет
• Умеете работать в командной строке Unix-подобных систем (Linux, macOS)

Будет плюсом, если вы

• Имеете опыт промышленной разработки на C++
• Работали в ecom-отрасли
• Решали задачи в роли аналитика, управляли командой или проектами

О команде

Узнайте про разработку городских сервисов Яндекса на dev.go.yandex