Тимлид команды дата-инженеров Маркета

Мы команда инженеров данных, и продукт нашей команды — Data Warehouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Наши пользователи — как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета потребляют поставляемые нами данные.

Технологически ядро хранилища построено на системах хранения данных YTsaurus и ClickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.

Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт, — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

Какие задачи вас ждут

Руководить командой. Поддерживать и улучшать работу хранилища
Руководить командой из 3+ дата-инженеров, развивать знания и опыт внутри группы.
Разрабатывать стратегию улучшения инфраструктуры данных и курировать её реализацию.
Проектировать архитектуру пайплайнов для интеграции данных в хранилище.
Оптимизировать процессы: выявлять слабые места, внедрять инновационные решения.
Участвовать в создании долгосрочной архитектуры хранения данных.
Формировать требования к инструментам загрузки и обработки данных совместно с инфраструктурными командами.
Обеспечивать стабильность ETL-процессов и мониторинг качества данных.
Участвовать в подборе и адаптации новых сотрудников.

Мы ждем, что вы

• Свободно владеете SQL (с навыками оптимизации сложных запросов) и Python (включая опыт разработки собственных фреймворков)
• Глубоко понимаете алгоритмы и структуры данных, особенно применительно к большим данным
• Имеете опыт проектирования DWH: работали со слоями хранения, моделями данных и ETL-процессами

Будет плюсом, если вы

• Имеете опыт коммерческой разработки на Java или C++
• Знаете принципы работы хотя бы одной из технологий распределённой обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP
• Имеете опыт работы с потоковой или near real-time обработкой данных
• Понимаете принципы DataOps и их применение в промышленных решениях