Техлид ML-инфраструктуры в Рекламные технологии

Команда состоит из нескольких разработчиков. У нас есть несколько ключевых элементов работы:

• Граф метрик в виде DAG с оценёнными причинно-следственными связями. Большая часть блоков уже реализована — есть интерактивная визуализация и пайплайн, который оценивает связи
• Платформа A/B-экспериментов, которая включает pruning, winsoring и sanity checks. Сейчас в работе десятки экспериментов

Мы используем следующий стек технологий: Python, SQL, Airflow, MapReduce, BI-системы, VCS.

Есть research-стрим: в команде выделяем время на то, чтобы тестировать подходы без необходимости отчитываться за бизнес-результат. Можно пробовать новые методы, создавать прототипы и проверять идеи.

Какие задачи вас ждут

Развитие инфраструктуры графа метрик
Вы будете работать с пайплайном оценки весов рёбер, реализовывать процедуры прямого и обратного прохода и настраивать систему валидации версий графа. Вам предстоит автоматизировать регулярные прогоны, следить за качеством связей и настраивать CI для релизов новых версий графа.

Руководство разработкой
Нужно будет разбивать задачи по проектам — графу метрик, платформе экспериментов и техдолгу, проверять архитектурные решения, помогать новым разработчикам освоиться в команде и распределять рабочую нагрузку.

Платформа экспериментов
Ваша задача — развивать модули pruning/winsoring и sanity checks, а также систему расчёта доказанного эффекта. Вам нужно поддерживать работу платформы, на которой запускаются сотни экспериментов.

Инфраструктура и техдолг
Вы будете перемещать процессы между кластерами, поддерживать квоты и переносить код. Также вам нужно будет обеспечить стабильность пайплайнов и качество данных.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Проектировали пайплайны обработки данных: Airflow, Luigi, Dagster или аналоги
• Работали с MapReduce, Spark и большими объёмами данных
• Руководили командой или выступали в роли ведущего разработчика с распределением задач
• Владеете Python на высоком уровне и SQL — на уверенном
• Понимаете, что такое А/Б-эксперименты, CUPED, регрессии — не как исследователь, а как инженер, способный реализовать методологию в коде
• Уверенно владеете системами контроля версий (VCS: Git, Bitbucket)
• Готовы разбираться в причинно следственном-выводе (causal inference) на инженерном уровне
• Проактивны, ориентированы на результат, умеете доводить работу до прода

Будет плюсом, если вы

• Работали с CI/CD для ML-пайплайнов
• Работали с распределёнными вычислениями на больших кластерах
• Знакомы с графовыми структурами данных
• Знаете основы причинно-следственного анализа (DAG, backdoor, instrumental variables); базовой эконометрики будет достаточно — если что, разберёмся на лету