Аналитик-разработчик по оценке AI-моделей

Алиса — это голосовой помощник Яндекса, который ежедневно помогает миллионам пользователей. Наша цель — создать лучшего AI-ассистента на рынке.

Мы занимаемся тем, что оцениваем свойства запросов пользователей и качество ответов на них. Эта информация помогает нам собирать обучение для моделей, заниматься приёмкой релизов и находить векторы развития.

Мы ищем аналитика-разработчика, который поможет нам совершенствовать систему сбора корзин, приёмки моделей и сможет проводить исследования.

Почему у нас классно

• Вы окажетесь в самом центре развития Алисы AI
• Будете тесно работать с ML-командой и аналитиками сложных процессов разметки данных
• Сможете прокачать технические и коммуникативно-менеджерские навыки
• Будете обмениваться опытом с коллегами: аналитиками и ML-инженерами
• Улучшите узнаваемый продукт Яндекса — результаты вашей работы увидят миллионы людей, включая ваших друзей и близких

Какие задачи вас ждут

Сбор корзин пользовательских запросов
Вам предстоит систематизировать пользовательские обращения и группировать их по темам, сценариям и типам задач для последующего анализа, тестирования и улучшения качества работы модели. Нужно будет выделять типовые запросы, формировать репрезентативные наборы промптов, следить за полнотой и актуальностью выборки, а также поддерживать структуру данных, которая помогает команде оценивать поведение модели, находить проблемные зоны и быстрее запускать новые продуктовые и исследовательские инициативы.

Построение LLM-as-a-Judge
Мы активно используем большие языковые модели в роли разметчика для оценки сигналов ранжирования. Ваша задача — придумать, как оптимизировать LLM-пайплайн, объективно измерить качество LLM в этой роли, выявить её системные ошибки.

Приёмка релизов новых моделей
Вы будете проверять качество, стабильность модели и её соответствие внутренним требованиям перед выкаткой на пользователей. Предстоит оценивать поведение модели на подготовленных сценариях и ключевых пользовательских кейсах, сравнивать результаты с предыдущими версиями, фиксировать регрессии и отклонения и формировать заключение о готовности релиза. Также нужно будет оценивать качество ответов на бенчах и сравнивать ответы моделей с результатами конкурентов.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Уверенно работаете с Python и SQL
• Знаете на базовом уровне математическую статистику и теорию вероятностей
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Можете спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую

Будет плюсом, если вы

• Работали с BI-инструментами
• Писали инструкции и самостоятельно запускали проекты разметки данных
• Анализировали тексты или обучали языковые модели
• Умеете создавать точные и эффективные промпты для генеративных нейросетей