Аналитик-разработчик автометрик YandexGPT

Наша команда отвечает за автоматические метрики для претрейна YandexGPT — базовой модели, на которой работают Алиса, Поиск и другие сервисы Яндекса. С помощью исследований мы решаем нетривиальные задачи и напрямую влияем на развитие ключевой технологии компании.

Почему в нашей команде классно:

• YandexGPT — быстро растущий проект, у нас можно проявить себя, поработать с крутыми опытными ML-специалистами
• Можно гонять самые современные модельки Яндекса на мощных GPU-кластерах
• Можно воспроизводить исследования из самых свежих статей и придумывать что-то новое
• Мы учимся решать задачи, которые пока никто не умеет решать

Ищем в команду сильного и активного аналитика, который готов погрузиться в мир больших языковых моделей.

Какие задачи вас ждут

Разработка новых метрик качества
Наша главная задача — всесторонне оценивать модель. Вы будете создавать новые бенчмарки, адаптировать опенсорс-решения и придумывать метрики, которые будут помогать нам измерять всё: от уровня логики и креативности до точности следования инструкциям.

Анализ фактической точности
Одна из самых важных задач — научить модель не выдумывать факты. Вам предстоит разрабатывать подходы для поиска и проверки информации в ответах модели, создавать тесты на знание фактов и вместе с разработчиками разбирать причины ошибок.

Интерпретация результатов экспериментов
Команда разработки постоянно проводит эксперименты. Когда увидите, что результаты эксперимента выглядят неожиданно или противоречиво, вашей задачей будет докопаться до сути, найти причину аномалий и помочь сделать правильные выводы.

Мы ждем, что вы

• Уверенно владеете SQL и Python
• Работали над метриками в ML
• Умеете анализировать данные, строили эффективные процессы их обработки
• Знаете теорию вероятностей и математическую статистику
• Интересуетесь развитием LLM и хотели бы погрузиться в эту тему
• Самостоятельны и аккуратны

Будет плюсом, если вы

• Имеете опыт работы над LLM
• Делали крауд-разметку с системой контроля качества
• Свободно читаете на английском