Аналитик-разработчик поисковой платформы Nova в Поиск с Алисой

Пользователи Яндекса ищут квартиры, услуги, мероприятия, врачей, видео и т. д. У каждого поиска своя сложность, свои технологии под капотом. Завести новый поиск сегодня — это большой инженерный и продуктовый проект. Наша цель — сделать единую поисково-рекомендательную систему, в которой любая команда Яндекса сможет запустить свой поиск или рекомендации, не упираясь в инженерные проблемы. Ключевой элемент такой системы — ранжирование на базе ML-моделей, в основе которых — офлайн-сигнал релевантности объекта запросу.

Наша команда отвечает за создание такого сигнала под ключ: вместе с продуктовыми командами мы выясняем, как должна быть устроена разметка релевантности, собираем датасеты с эталонной разметкой (голденсеты), определяем необходимые данные и тулы, создаём и улучшаем LLM-разметчик. Вместе с ML-инженерами дистиллируем знания в рантайм-модель, проводим A/B-тестирование.

Мы участвуем в полном цикле обновления ранжирования — от сбора продуктовых требований и подготовки эталонных датасетов до приёмки готовых моделей; делимся уникальным опытом с другими командами, активно строим AI-продуктивную аналитику.

Какие задачи вас ждут

Эталонная разметка
Вам предстоит формализовывать продуктовые требования и принципы сервисов, разбираться в их болях, проводить глубокий анализ качества текущего ранжирования, копаться в логах, собирать голденсеты, формулировать критерии приёмки нового ранжирования.

Внедрение подхода LLM-as-a-Judge
На основе голденсетов вам предстоит собирать агентов на топовых моделях для разметки релевантности — таких, которые работают на разных сервисах; продумывать тулы и RAG-инфраструктуру, замерять качество, чинить баги, следить за тенденциями в LLM-as-a-judge; готовить датасеты для дистилляции знаний в ранжирующие модели (берты, катбусты).

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Понимаете, почему важно всегда смотреть в данные
• Уверенно пишете на Python и SQL, разбираетесь в алгоритмах и структурах данных
• Знаете математическую статистику и умеете проверять гипотезы

Будет плюсом, если вы

• Работали с поиском или рекомендациями
• Интересуетесь ML
• Готовы исследовать продукт, чтобы понимать, каким он должен быть и почему
• Умеете общаться, ясно излагать мысли, убеждать, понимать и учитывать мнение коллег