Руководитель аналитики качества обогащения и ответов на срезах в команду Alice AI

Алиса — один из самых популярных ассистентов в России, которым ежедневно пользуются миллионы людей. Ответы Алисы уже давно не ограничиваются только текстом. В зависимости от запроса пользователя в них могут появляться разные вставки‑обогащения. Они помогают быстрее и лучше решить задачу: это могут быть картинки, видео, карточки товаров и геообъектов, внешние ссылки, реклама. Удачная вставка способна улучшить качество ответа и дать преимущество перед конкурентами, а неудачная — сделать ответ совсем непригодным для показа.

Мы разрабатываем метрики и инструменты офлайн‑оценки качества обогащений в ответах Алисы — с помощью профессиональных разметчиков (AI‑тренеров) и автоматических джаджей LLM. На основе наших оценок обучаются новые модели Алисы, а метрики помогают принимать решения о релизах продукта.

Какие задачи вас ждут

Руководство проектом качества обогащений
Вы будете полностью отвечать за оценку обогащений Alice AI. Вам предстоит обсуждать и придумывать новые фичи вместе с командой продукта, ставить задачи по разметке для AI‑тренеров и автоматических оценщиков, писать подробные инструкции, собирать точные голден-сеты, а также определять метрики качества проекта и критерии успеха. Результат вашей работы станет ключевым инструментом для аналитики и ML‑разработки.

Улучшение качества оценки
Вы будете участвовать в разработке новых моделей Alice AI: вместе с ML‑командой создавать новые свойства продукта. Вам предстоит анализировать качество ответов текущих версий модели, регулярно отслеживать метрики проекта и итоги экспериментов, выявлять и решать проблемы в оценке, обновлять голден-сеты, инструкции и автоматических оценщиков. Каждую неделю вы будете приближать улучшение ответов Алисы в следующем релизе.

Разработка оценщиков
Нужно будет создавать высококачественных агентов‑джаджей. ML‑команда сможет использовать их как основной сигнал — и при обучении, и чтобы выносить вердикты по экспериментам. LLM‑as‑a‑Judge — это сложный пайплайн: он включает обращения к разным моделям и внешним инструментам. При этом работа над качеством обогащений — нетривиальная мультимодальная задача. Вам предстоит работать с картинками, видео и карточками, у которых богатая функциональность.

Настройка инструментов оценки ответов
Ваша задача — полностью управлять технической частью процесса оценки ответов: запускать разметку на AI‑тренерах и автоматических оценщиках, работать с пользовательским интерфейсом исполнителя, настраивать конвейер подготовки и сохранения данных. Предстоит определять приоритеты, следить в реальном времени за скоростью и стоимостью работы, а также контролировать качество. Оценка ответов — критически важная часть разработки моделей, она должна работать надёжно и с максимальной производительностью.

Проработка качества ответов
Вы будете не только заниматься обогащением, но и детально изучать качество ответов на ключевых для продукта участках потока — в частности, на срезах «Еком» («Купить товар») и «Гео» («Найти офлайн‑организацию»).

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Управляли командой аналитиков не менее 2 лет
• Любите работать с данными и умеете извлекать из них практический результат
• Знаете математическую статистику и теорию вероятностей
• Пишете надёжный код на Python и знаете алгоритмы
• Умеете формулировать обоснованное заключение и защищать его перед заказчиками в условиях неполных данных
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Интересуетесь развитием LLM и хотите глубоко погрузиться в тему