Руководитель команды аналитики Alice AI VLM

Наша команда занимается аналитикой качества Alice AI VLM. Мы оцениваем качество модели, ищем точки роста, а также улучшаем и создаём данные для её обучения.

Мы работаем над созданием агентной системы, которая бы улучшила качество ответов Алисы, — как на сложных запросах пользователей, так и на опенсорсных бенчмарках. Для этого мы хотим научить нашу модель рассуждать перед ответом, а также вызывать тулы при необходимости.

Какие задачи вас ждут

Управление командой и её развитие
Вы будете нанимать и развивать ML-аналитиков, помогать им расти и формировать сильную инженерно-продуктовую культуру вокруг аналитики качества AI. Вам предстоит выстраивать процессы планирования, декомпозировать цели на конкретные задачи и вместе с командой придумывать способы их решения.

Исследование опенсорсных бенчмарков и создание собственных
Вам нужно будет анализировать существующие бенчмарки для агентных VLM (GTA, ToolVQA, TIR-Bench) на предмет применимости к нашим продуктовым сценариям и для выявления пробелов в покрытии. Также вы будете разрабатывать собственные бенчмарки, отражающие реальные пользовательские запросы к Алисе, — с фокусом на multi-image-сценарии, цепочки рассуждений и вызовы тулов в условиях, приближенных к продакшну.

Декомпозиция проблем и поиск точек роста
В числе ваших задач будет приоритизация направлений улучшения на основе детального разбора ошибок модели на сложных запросах: построение таксономии типов ошибок (визуальное восприятие, логика рассуждений, выбор и применение тулов, форматирование ответа) и количественная оценка вклада каждого класса в общее качество.

Создание пайплайнов генерации данных
Вам предстоит разрабатывать масштабируемые пайплайны создания обучающих данных для reasoning- и tool-use-сценариев: генерировать траекторию рассуждений, производить разметку через judge-модели и с участием экспертов, фильтровать по качеству и сложности.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Имеете опыт менторства или работы в роли тимлида-практика
• Уверенно владеете Python и SQL для глубокого анализа данных
• Готовы конструктивно оспаривать существующие подходы, обосновывать свою позицию и вести открытую дискуссию
• Активно применяете генеративные модели в повседневной работе и/или жизни

Будет плюсом, если вы

• Участвовали в разработке judge-моделей или организации разметки с привлечением асессоров и экспертов
• Читаете профессиональную литературу на английском языке
• Знакомы с основами машинного обучения и компьютерного зрения