Лид в команду офлайн-KPI-метрики ранжирования

С помощью офлайн-KPI-метрики ранжирования оценивается качество поисковой выдачи Яндекса по отдельным сигналам: релевантности веб-страниц запросу, их авторитетности и т. д. Метрика должна полностью отражать качество выдачи для любых тематик запросов, типов веб-страниц и других аспектов и задавать вектор развития Яндекс Поиска.

Мы постоянно улучшаем качество сигналов для метрики и используем LLM. Метрика должна адаптироваться к этим изменениям и выжимать максимум из улучшения качества сигналов для итогового ранжирования.

Вам предстоит взять на себя зону ответственности по подбору KPI-метрики Поиска и вместе с командой построить регулярный процесс её улучшения.

Какие задачи вас ждут

Улучшение офлайн-метрики ранжирования
Вы будете исследовать, формулировать и оцифровывать проблемы в метрике и итоговом ранжировании, придумывать способы их исправления и реализовывать их. Результат напрямую влияет на продакшн, ведь офлайн-метрика — это таргет для модели ранжирования в Поиске.

Построение и поддержка аналитических моделей в оценке качества Поиска
Команда офлайн-KPI-метрики отвечает не только за саму форму офлайн-метрики, но и за множество процессов офлайн-оценки качества поиска: приёмку новых ML-моделей ранжирования, сбор «корзин» (множества запросов для оценки качества поиска), сбор дашбордов мониторинга качества и получение по ним инсайтов о проблемных зонах и методах их решения. Потребуется решать множество важных продуктовых и аналитических вопросов и вести сложные проекты.

Работа с офлайн-метриками всех компонентов выдачи
Выдача Яндекса состоит не только из ссылок на веб-страницы (так называемой органической выдачи), но и из рекламы, тематических блоков. Для каждого из этих компонентов тоже существует офлайн-сигнал. В перспективе вы будете отвечать за внедрение этих офлайн-сигналов в единую офлайн-метрику всей выдачи и улучшать как качество самих сигналов, так и процессы вокруг них.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Были руководителем или ментором в аналитике
• Глубоко знаете математику
• Умеете выстраивать стабильные и прозрачные рабочие процессы

Будет плюсом, если вы

• Разбираетесь в области машинного обучения, внедряли модели
• Участвовали и побеждали в олимпиадах по математике, физике, программированию
• Читаете и понимаете профильные тексты на английском языке