ML-разработчик в группу рассуждений Alice AI

Наша команда развивает продвинутые способности Alice AI LLM, обучая наши модели решать самые нетривиальные задачи.

Мы фокусируемся на сценариях, где требуются сложные рассуждения, написание качественного кода и уверенное использование инструментов, таких как code sandbox и поиск. Наша ключевая цель — сделать Алису экспертным ассистентом, способным справляться с самыми сложными запросами пользователей.

Какие задачи вас ждут

Развитие рассуждающей модели
Ваша главная задача — учить одну из самых сильных рассуждающих моделей. Возможные задачи: сбор и поддержка пайплайнов генерации сред для RL для новых способностей Алисы; стабилизация RL-обучения нашей рассуждающей модели на масштабе траекторий, состоящих из сотен вызовов тулов; разбор ситуаций, где, как и почему модель ошибается на тяжёлых фактовых запросах, и перевод этого в успешный сигнал для обучения.

Обучение моделей и анализ экспериментов
Вам предстоит работать в RnD-цикле экспериментов над элайнментом рассуждающих моделей — от формирования гипотез до анализа результатов и выбора дальнейших шагов. Вам также нужно будет взаимодействовать с аналитиками для построения стабильных замеров и искать точки роста инфраструктуры — с общей целью обучения лучшей возможной модели.

Поиск новых направлений
Исследования LLM — очень бурно развивающаяся область с постоянно появляющимися моделями, статьями и даже направлениями. В нашей работе важно уметь выделять хорошо масштабирующиеся подходы, которые помогут достичь наших целей. Вы будете экспериментировать с самыми перспективными и свежими идеями.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Уверенно программируете на Python и внедряли в продакшен исследовательские пайплайны
• Хорошо разбираетесь в LLM и имеете опыт работы в NLP/DL
• Умеете формулировать гипотезы и выстраивать эксперименты для их проверки
• Готовы работать с неопределённостью и выбирать самое важное направление

Будет плюсом, если вы

• Занимались файн-тюнингом или RL больших языковых моделей
• Работали в среде, требующей глубокого ресёрча (например, в AI или quantitative research)
• Собирали сложные бенчмарки для языковых моделей
• Публиковали статьи на тему языковых моделей и/или RL