Разработчик платформы управления данными в команду супераппа Яндекс Go

DMP Yandex Go — это платформа управления данными, которая решает все потребности пользователей по работе с данными: от выполнения ETL-процессов до решения задач Data Quality, Data Lineage, документирования и т. п. Она объединяет в себе различные технологии и позволяет выполнять как пакетную обработку данных с использованием MapReduce и Spark, так и потоковую обработку данных на Flink.

Мы стремимся писать совершенный код, проектировать и оптимизировать самые сложные расчёты, прорабатывать алгоритмы и готовить инструментарий для сотен бизнес-пользователей.

Возможно, вы уже слышали о нас на различных конференциях. Если нет, рекомендуем ознакомиться с материалами:

• [SmartData 2020](https://www.youtube.com/watch?v=A_1E7KKS2Pk) — о том, как мы разрабатываем DMP для Такси, Лавки и Яндекс Еды
• [DataFest 2020](https://www.youtube.com/watch?v=Sk_Y30qImgk) — о DSL для ETL в DMP
• [HighLoad++ Весна 2021](https://highload.ru/spring/2021/abstracts/7266) — о том, как подключить к Apache Spark проприетарный источник данных
• [SmartData 2024](https://smartdataconf.ru/archive/2024/talks/da48c7cc0108449c89ad36cefa64777d/) — о нашей платформе потоковой обработки данных на Apache Flink

Мы ищем разработчика, который будет развивать и реализовывать инфраструктурные проекты для нашей платформы.

Какие задачи вас ждут

Развитие фреймворка DMP
Один из основных продуктов нашей команды — фреймворк для пакетной и потоковой обработки данных, а также построения ETL-процессов. Вам предстоит выполнять доработки и развивать фреймворк, улучшать инфраструктуру для стабильной работы ETL-сервисов.

Развитие инструментов тестирования платформы и ETL-процессов
Благодаря автоматизации тестирования ETL-процессов повышается эффективность работы дата-инженеров и качество ETL-процессов в продовом окружении. Вы будете развивать инструменты сравнительного тестирования ETL-процессов, статические проверки кода платформы и ETL-сервисов. Нужно будет оптимизировать процессы модульного и интеграционного тестирования фреймворка DMP.

Улучшение CI/CD-процессов
Мы самостоятельно разрабатываем CI/CD-процессы, которые позволяют собирать, тестировать и выкатывать ETL-сервисы с пользовательскими процессами обработки данных. Вместе с командой вам предстоит оптимизировать существующие и реализовывать новые CI/CD-процессы, которые упрощают работу пользователей с CI и улучшают ТТМ за счёт более частых и автоматизированных выкаток.

Мы ждем, что вы

• Уверенно программируете на Python
• Готовы осваивать новые технологии и фреймворки
• Умеете и любите писать чистый код, покрывать его тестами и проводить рефакторинг
• Понимаете, зачем нужны непрерывная интеграция и непрерывная доставка (CI/CD), Git и Code Review

Будет плюсом, если вы

• Работали с инструментами обработки больших данных: экосистемой Hadoop, Spark, ClickHouse, Greenplum и другими аналитическими MPP-БД
• Разрабатывали и проектировали распределённые системы (наша инфраструктура работает в нескольких дата-центрах)
• Занимались автоматизацией CI/CD-процессов
• Имеете опыт работы с контейнеризацией и оркестрацией (Docker, Kubernetes)

О команде

Узнайте про разработку городских сервисов Яндекса на [dev.go.yandex](http://dev.go.yandex/?utm\_source=yandex\_jobs&utm\_medium=social&utm\_content=1&utm\_campaign=vacancies).