ML-разработчик в команду Фотоинпута Алисы

Наша команда отвечает за качество ответов Алисы в случаях, когда пользователь присылает изображение в чат, — мы называем это направление Фотоинпутом: найти похожий товар в интернете, распознать или перевести текст, помочь разобраться с домашним заданием, дать краткую выжимку с инфографики — и многих других.

Сердцем Фотоинпута является Alice AI VLM. Мы построили вокруг неё многокомпонентную систему, которая помогает делать ответы более релевантными, актуальными и полезными. Для этого мы интегрируем навыки работы с компонентами на разных стадиях обучения непосредственно самой модели — от pretrain до RL. Кроме того, у нас есть широкий спектр продуктовых срезов, которые мы развиваем в рамках Фотоинпута, например образование или обогащение ответов картинками и ссылками.

Мы ищем опытного проактивного специалиста, которому нравится работать на стыке ресёрча и продукта и который хочет решать реальные проблемы наших пользователей и создавать одного из лучших AI-ассистентов на российском рынке.

Лендинг с описанием юзкейсов нашей технологии
Статья про то, как устроен Фотоинпут и Alice AI VLM

Какие задачи вас ждут

Обучать Alice AI VLM
Нам важно, чтобы модель на фундаментальном уровне понимала, как работать в системе, как давать ответы, которые решат задачу пользователя. Предстоит создавать качественные и нетривиальные награды для модели и улучшать свойства Alice AI VLM: например, полезность, фактологичность — за счёт RLHF.

Улучшать качество на образовательных сценариях
Мы делаем Алису полезным помощником по объяснению задач в различных научных дисциплинах: математике, геометрии, физике и других. Нужно делать масштабируемые пайплайны сбора качественных данных, создавать для модели награды, повышающие точность ответов при решении задач.

Развивать агентские навыки у Alice AI VLM
Ваша задача — учить модель работать с внешними инструментами в tool-call-режиме за счёт обучения в различных агентских средах.

Внедрять новые фичи и искать точки роста
Мы используем большой каскад метрик для выбора лучших кандидатов на выкатку и A/B-тестирование, чтобы оценивать влияние на рабочих задачах наших пользователей. Те же самые инструменты помогают нам искать точки роста: новые фичи или существующие проблемы.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Горите темой больших мультимодальных моделей и занимались их обучением
• Хорошо знаете NLP/CV и следите за трендами в LLM/VLM
• Умеете решать ML-задачи полного цикла — от сбора разметки до внедрения в продакшен