Аналитик-разработчик в команду Переводчика

Команда Яндекс Переводчика улучшает модели перевода на разных направлениях в разных модальностях: в переводе текста, веб-страниц, картинок, документов и даже видео. Мы в команде аналитики перевода занимаемся оценкой качества всех этих моделей: собираем тестовые данные, придумываем метрики, основанные как на человеческой разметке, так и на LLM, ищем новые сложные вызовы для моделей, которые уже переводят достаточно хорошо.

Недавно мы запустили Переводчик AI — LLM-перевод для нескольких крупных направлений и обогащённую выдачу для коротких запросов, где пользователю нужно несколько вариантов перевода. Мы также занимаемся исследовательскими задачами: например, в прошлом году мы участвовали с постером в конференции EMNLP.

Мы ищем опытного аналитика, который поможет улучшить оценку качества не только текстового перевода, но и более сложных технологий.

Какие задачи вас ждут

Создание метрик качества
Вам предстоит придумывать процедуры оценки качества перевода для асессоров и AI-тренеров, а также для LLM, чтобы создавать метрики на основе LLM-as-a-judge. На основе этих данных мы также строим регулярные процессы оценки качества перевода.

Сбор данных
Мы собираем данные как для оценки, так и для обучения моделей. Работаем с пользовательскими логами, чтобы оценивать качество моделей перевода в разных сценариях. Для сбора обучающих данных также нужно разрабатывать процедуры разметки и генерации переводов с помощью AI-тренеров-переводчиков.

Поиск и анализ проблем перевода
Поскольку современные модели переводят уже достаточно хорошо, важно находить их узкие места. Поэтому вам предстоит много работать с текстовыми данными из разных источников — от постов в соцсетях до научных статей по микробиологии.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Работали над метриками в ML
• Уверенно владеете SQL и Python
• Знаете теорию вероятностей и математическую статистику
• Любите и умеете анализировать текстовые данные, строили эффективные процессы их обработки
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Интересуетесь развитием LLM и хотели бы погрузиться в эту тему

Будет плюсом, если вы

• Работали с LLM
• Работали с Толокой или другими краудсорс-платформами