Technical Lead Data Engineer в Доставку

Яндекс Доставка — это сервис для людей и бизнеса: предпринимателей, ритейлеров и маркетплейсов. Мы начинали с экспресс-доставки на «последней миле», но за три года научились решать самые разные логистические задачи. Мы помогаем доставлять лёгкие и тяжёлые грузы и на соседнюю улицу, и в другие города. Поэтому у нас можно поработать с самыми разными аудиториями и продуктами.

Какие задачи вас ждут

Разработка и поддержка ETL-процессов, повышение качества и стабильности данных
Вы будете проектировать и поддерживать ETL-пайплайны для обработки данных — от источников до дашбордов, работая в составе V-team своих доменов данных. Также вам предстоит обеспечивать стабильность и производительность витрин и дашбордов, разрабатывать механизмы контроля качества данных и оптимизировать существующие процессы обработки.

Поддержка инфраструктуры данных
Вам нужно будет поддерживать работу ключевых компонентов платформы (ClickHouse, Greenplum, YTsaurus, ETL-сервисы), взаимодействуя с инфраструктурными командами.

Техническая поддержка аналитиков
Вы станете основным контактным лицом для аналитиков по техническим вопросам работы с данными и инструментами платформы.

Руководство командой и развитие платформы данных
Вам предстоит стать техническим лидером для команды инженеров данных: вы будете распределять задачи, контролировать их выполнение, участвовать в планировании и определении стратегических направлений развития платформы. Также вам нужно будет внедрять стандарты и лучшие практики в области обработки и хранения данных, оптимизировать рабочие процессы и устранять «узкие места» в архитектуре и процессах обработки данных.

Взаимодействие с командами и развитие сотрудников
Вам нужно будет взаимодействовать с другими командами и стейкхолдерами для согласования технических решений и интеграции данных, а также развивать команду: помогать сотрудникам расти профессионально, организовывать обучение и обмен знаниями, проводить код-ревью и способствовать повышению качества кода.

Мы ждем, что вы

• Отлично знаете Python
• Работаете с Greenplum, Vertica, ClickHouse или любыми другими MPP СУБД
• Можете работать с большими объёмами данных в экосистемах Hadoop (HDFS, Spark, Hive), YTsaurus или аналогичных
• Понимаете принципы проектирования хранилищ данных, ETL-фреймворков, а также систем мониторинга за состоянием хранилища
• Умеете оптимизировать запросы и оценивать вычислительную нагрузку
• Имеете опыт руководства небольшой командой (2–3 человека)

Будет плюсом, если вы

• Создавали сложные высоконагруженные ETL- и ELT-пайплайны (плюсом будет знание code-driven ETL Luigi, Airflow)
• Разрабатывали процессы обработки сложных событий (CEP) почти в реальном времени (Kafka Streams, Spark, Flink и пр.)
• Работали с инструментами стека Python для Data Science (Jupyter, pandas, SciPy, Matplotlib, Bokeh и пр.)
• Разрабатывали проверки качества данных, мониторинга стабильности и использования данных
• Понимаете ценность данных для принятия решений бизнесом
• Коммитите в публичные репозитории или пишете статьи с примерами работ