Аналитик-разработчик YandexGPT (Алиса)

Наша команда занимается развитием большой языковой модели Яндекса YaGPT для Алисы. Мы хотим, чтобы Алиса возглавила топ ассистентов в России, ежедневно помогала пользователям в учёбе и работе, дружелюбно поддерживала беседу. Для этого мы формулируем ключевые продуктовые аспекты ответов, а потом переводим их в метрики и готовим данные, необходимые для роста качества.

Отдельный большой трек для нас сейчас — работа над качеством ответов на срезе образования. Мы стремимся сделать Алису ещё полезнее для школьников, чтобы она не только помогала решать домашние задания, но и понятно и грамотно объясняла. Сейчас наши главные фокусы — это математика, русский и английский языки, история и литература, но об остальных предметах тоже не забываем. Верим, что в этом домене мы сможем догнать и перегнать наших главных мировых конкурентов.

Какие задачи вас ждут

Создание метрик качества
Одна из главных задач — оценивать качество модели. Для этого мы используем разные подходы: от бенчмарков и LLM-as-a-judge до краудсорсинга и высококвалифицированных AI-тренеров. Вам предстоит формулировать критерии, экспериментировать с подходами и создавать стабильные метрики, по которым можно улучшаться.

Анализ проблемных срезов
Задача аналитика — проактивно искать проблемы, с которыми модель пока не справляется, и вместе с командой разработки придумывать план решения, готовить данные для обучения моделей, а потом оценивать эффективность изменений.

Сбор данных
Хорошие данные — это очень важно. Вам предстоит искать качественные источники инстрактов для обучения и валидации, находить проблемы в имеющихся данных, формулировать критерии эталонных ответов и пристально следить за соблюдением этих критериев.

Мы ждем, что вы

• Работали над метриками в ML
• Уверенно владеете SQL и Python
• Любите и умеете анализировать текстовые данные, строили эффективные процессы их обработки
• Знаете теорию вероятностей и математическую статистику
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Интересуетесь развитием LLM и хотели бы погрузиться в эту тему

Будет плюсом, если вы

• Имеете опыт работы с LLM
• Работали с Толокой или другими краудсорс-платформами