Руководитель группы KPI-метрики Поиска

Офлайн-KPI-метрика ранжирования — один из ключевых инструментов управления качеством Поиска. С её помощью мы оцениваем качество поисковой выдачи Яндекса по разным аспектам: релевантности документов запросу, авторитетности источников, полезности ответа, разнообразию результатов, качеству тематических блоков и другим сигналам.

Эта метрика используется как ориентир для развития моделей ранжирования и процессов приёмки изменений в Поиске. Наша задача — сделать так, чтобы офлайн-оценка максимально точно отражала пользовательское восприятие качества выдачи в разных тематиках, типах запросов, регионах, устройствах и сценариях.

Мы постоянно улучшаем качество сигналов, используем LLM и развиваем подходы к оценке выдачи. Метрика должна адаптироваться к этим изменениям, помогать находить слабые места ранжирования и задавать понятный вектор развития Яндекс Поиска.

Вам предстоит возглавить направление KPI-метрик Поиска: развивать методологию оценки качества, управлять командой, выстраивать регулярные процессы улучшения метрик и помогать командам ранжирования принимать решения на основе данных.

Какие задачи вас ждут

Развитие офлайн-метрики ранжирования
Вы будете отвечать за развитие офлайн-KPI-метрики, которая используется при обучении и приёмке моделей ранжирования. Нужно будет находить проблемы в текущей метрике, формулировать гипотезы, оцифровывать эффект, проверять изменения и доводить их до внедрения. Результаты этой работы напрямую влияют на продакшен: офлайн-метрика задаёт целевой ориентир для моделей ранжирования и помогает принимать решения о релизах в Поиске.

Построение процессов оценки качества Поиска
Команда отвечает не только за формулу метрики, но и за процессы офлайн-оценки качества: приёмку новых ML-моделей ранжирования, формирование и поддержку «корзин» запросов для оценки качества, построение дашбордов и мониторингов, анализ качества по тематикам, типам запросов и пользовательским сценариям. Вам предстоит выстраивать прозрачные и устойчивые процессы, договариваться с командами ранжирования и продукта, управлять приоритетами и доводить сложные аналитические проекты до результата.

Развитие оценки side-by-side
Отдельная важная зона ответственности — side-by-side сравнения качества выдачи. Мы сравниваем новую версию выдачи Яндекса с текущей, а также выдачу Яндекса с конкурентами, чтобы понимать реальное качество поиска в пользовательских сценариях.

Вам предстоит развивать методологию SbS-оценки: определять критерии сравнения выдач, анализировать результаты по тематикам, регионам, устройствам и типам запросов, находить расхождения между офлайн-KPI-метрикой и экспертной оценкой, использовать результаты SbS для улучшения метрики, сигналов и процессов приёмки, а также строить регулярный мониторинг конкурентного качества Поиска. Эти сравнения помогают понять, где новая версия выдачи действительно лучше текущей, где метрика переоценивает или недооценивает изменения, а также в каких сценариях Яндекс выигрывает у конкурентов или уступает им.

Работа с метриками всех компонентов выдачи
Выдача Яндекса состоит не только из органических ссылок, но и из рекламы, тематических блоков, сервисных ответов и других элементов. Для каждого компонента существуют свои сигналы качества. В перспективе вы будете отвечать за интеграцию этих сигналов в единую офлайн-метрику всей выдачи. Нужно будет улучшать как сами сигналы, так и процессы вокруг них: сбор оценок, мониторинг качества, диагностику проблем и принятие решений о релизах.

Управление командой и развитие направления
В этой роли важно не только самому глубоко разбираться в метриках и аналитике, но и строить сильную команду. Вам предстоит формировать roadmap направления, приоритизировать задачи, развивать аналитиков и исследователей, выстраивать регулярные процессы и понятные критерии успеха, синхронизироваться с командами ранжирования, ML, продукта и оценки качества, защищать методологию и помогать принимать продуктовые решения на основе данных.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Имеете опыт руководства аналитической, исследовательской или ML-командой либо сильный опыт менторства
• Глубоко разбираетесь в математике, статистике и анализе данных
• Знаете, как строить метрики качества, понимаете их ограничения и можете валидировать их на разных источниках данных
• Умеете выстраивать стабильные и прозрачные рабочие процессы
• Способны работать со сложными продуктово-аналитическими задачами, где нет единственно правильного ответа
• Можете договариваться с разными командами и объяснять сложные методологические решения простым языком

Будет плюсом, если вы

• Внедряли ML-модели или участвовали в процессах их оценки и приёмки
• Работали с поиском, рекомендациями, рекламным ранжированием или другими системами, где важны метрики качества
• Разбираетесь в машинном обучении и задачах ранжирования
• Имеете опыт построения экспертной оценки, side-by-side-сравнений или конкурентных бенчмарков
• Участвовали и побеждали в олимпиадах по математике, физике или программированию
• Читаете и понимаете профильные тексты на английском языке