Аналитик-разработчик мультимодальных моделей

Команда аналитики визуальных генеративных моделей на стыке NLP и компьютерного зрения создаёт визуально-текстовую генеративную модель, которая будет решать задачи пользователей по изображению. Мы разрабатываем инструменты для сравнения моделей, создаём датасеты для бенчмарков и для обучения моделей.

Ищем талантливых специалистов в области аналитики, которые готовы присоединиться к нашей команде.

Какие задачи вас ждут

Создание инструментов для оценки качества ответов моделей
Основная наша задача — научиться оценивать качество работы нашей модели на разнообразных классах задач. Для этого мы адаптируем опенсорсные бенчмарки, создаём свои и пользуемся помощью исполнителей, которые занимаются разметкой данных.

Исследование точек роста
Чтобы улучшать качество, необходимо находить слабые места модели: классы запросов или свойства запросов, на которых мы работаем недостаточно хорошо.

Создание новых и улучшение текущих датасетов, на которых обучается модель
Имея хорошие инструменты для оценки качества, а также понимая, что именно необходимо улучшать, мы собираем данные для роста качества. Это могут быть данные как для SFT, так и для RL.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Занимались аналитикой больше года
• Уверенно пишете на Python и SQL, знаете основные библиотеки
• Знаете основы машинного обучения
• Готовы проектировать разметки для удалённых исполнителей

Будет плюсом, если вы

• Знакомы с Толокой или другими краудсорсинговыми платформами
• Создавали процессы разметки данных с помощью удалённых исполнителей
• Работали с продуктами из области компьютерного зрения