Lead Data Engineer

Мы в Rubbles занимаемся разработкой и внедрением дата-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и FMCG, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.

Мы ищем Lead Data Engineer'а, который возглавит дата-инженерную команду в направлении товарной аналитики. В рамках этого направления разрабатываются и внедряются системы поддержки принятия решений, с применением алгоритмов машинного обучения, для производителей товаров повседневного спроса и ритейл компаний. Примеры решаемых задач направления: прогноз спроса, оптимизация складских запасов, оптимизация промо плана и регулярных цен.

Обязанности

• Управление командой дата-инженеров: найм, увольнение, 1 на 1, Performance Review, коучинг и развитие.
• Проектирование дата-архитектур на проектах, оценка трудозатрат на задачи, общение с бизнес-руководителями и проектными менеджерами.
• Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark.
• Работа с системами хранения такими как ClickHouse и PostgreSQL.
• Поддержка существующих и написание новых Airflow pipelines.
• Переработка существующих пайплайнов “from scratch”.
• Решение ad-hoc-задач от аналитиков и дата-саентистов.
• Рефакторинг легаси кода.
• Ревью кода других дата-инженеров.
• Оптимизация сложных SQL-запросов.
• Участие в реализации CI/CD.
• Решение инфраструктурных проблем в зоне ответственности DE.

Минимальные требования

• Опыт руководства людьми от 1 года.
• Опыт промышленной разработки на Python от 4 лет.
• Экспертное знание Python.
• Сильные софт-скиллы и умение коммуницировать между командами.
• Опыт работы с Apache Spark.
• Опыт работы с Airflow.
• Экспертное знание SQL.
• Уверенная работа с командной строкой Linux/MacOS.
• Опыт с CI/CD.

На что ещё смотрим

• Опыт работы с различными Cloud-сервисами: Yandex, Google, AWS и прочие.
• Умение писать pytest и понимание TDD-методологии разработки.
• Опыт работы с K8s.

Условия

• Работа в одной из самых сильных ML-команд в России.
• Участие в росте компании, работающей на перспективном AI рынке.
• Гибкий график работы.
• Гибкий формат работы: удаленка/гибрид/офис в Мск.
• Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций.
• Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами.
• ДМС со стоматологией после испытательного срока (3 месяца) по всей России.
• Мы аккредитованная ИТ-компания со всеми вытекающими льготами.