Лид аналитики направления образования в команду Alice AI

Наша команда занимается развитием большой языковой модели — Alice AI, на базе которой работает Алиса. Мы хотим, чтобы Алиса возглавила топ ассистентов в России, ежедневно помогала пользователям в учёбе и работе, дружелюбно поддерживала беседу. Для этого мы формулируем ключевые продуктовые аспекты ответов, а потом переводим их в метрики и готовим данные, необходимые для роста качества.

Отдельный большой трек — работа над качеством ответов в направлении образования. Мы стремимся сделать Алису ещё полезнее для школьников, чтобы она не только помогала решать домашние задания, но и понятно и грамотно объясняла. Мы повышаем качество ответов по математике, русскому и английскому языкам, истории, литературе, физике и биологии. Про остальные предметы тоже не забываем. Уже обгоняем DeepSeek на большинстве срезов, а в этом семестре ставим перед собой цель достичь качества Gemini 3 Pro.

Вы будете руководить командой аналитиков-разработчиков в роли «играющего тренера»: 50% — руководство командой и менеджерские задачи, 50% — решение прикладных задач. Вам также предстоит много взаимодействовать с командами разработки и продукта, участвовать в обсуждении тактических и стратегических целей стрима образования в чате с Алисой.

Какие задачи вас ждут

Создание метрик качества
Одна из главных задач — оценивать качество модели. Для этого мы используем разные подходы: от бенчмарков и LLM-as-a-Judge до краудсорсинга и привлечения высококвалифицированных AI-тренеров. Вам предстоит формулировать критерии, экспериментировать с подходами и создавать стабильные метрики, по которым можно улучшаться.

Анализ проблемных срезов
Задача аналитика — проактивно искать проблемы, с которыми модель пока не справляется, и вместе с командой разработки придумывать план решения, готовить данные для обучения моделей, а потом оценивать эффективность изменений.

Сбор данных
Хорошие данные — это очень важно. Вам предстоит искать качественные источники инстрактов для обучения и валидации, находить проблемы в имеющихся данных, формулировать критерии эталонных ответов и пристально следить за соблюдением этих критериев.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Работали над метриками в ML
• Имеете опыт руководства или менторства в аналитике
• Уверенно владеете SQL и Python
• Любите и умеете анализировать текстовые данные, строили эффективные процессы их обработки
• Знаете теорию вероятностей и математическую статистику
• Самостоятельны и готовы браться за новые задачи, для которых нет готовых решений
• Интересуетесь развитием LLM и хотели бы погрузиться в эту тему

Будет плюсом, если вы

• Работали с LLM
• Работали с Толокой или другими краудсорс-платформами