ML-исследователь генеративных моделей персонализации

Мы решаем задачу персонализации с помощью LLM-подобных технологий: переводим пользователей в специализированное пространство токенов и обрабатываем полученные последовательности с помощью генеративных моделей. Результаты работы нашей команды применяются во всех крупных рекомендательных системах Яндекса.

Исследования в нашей команде охватывают следующие области:

• Претрейн генеративных моделей со случайных весов
• Адаптация индустриальных архитектурных трендов, таких как MoE, квантизация, Linear Attention, техник сжатия контекста
• Обучение reward-моделей на основе трансформерной архитектуры
• RL с использованием разновидностей GRPO
• Continuous learning
• Модели токенизации пользователя

Также мы публикуем работы на международных конференциях:

• KDD'26
• RecSys'25
• RecSys'25

Наша мечта — построить одностадийную генеративную рекомендательную систему и встроить её в LLM как новую модальность.

Какие задачи вас ждут

Оптимизировать архитектуру нейросети
Мы постоянно развиваем архитектуру и рецепты обучения наших моделей, адаптируя последние индустриальные тренды. Наша задача — не только обеспечить высокое качество предсказания, но и выдерживать нагрузку, создаваемую многими миллионами пользователей Яндекса.

Развивать алгоритмы токенизации
Токенизация в генеративных моделях персонализации — активно развивающаяся область. Она включает в себя построение семантических моделей, исследование алгоритмов квантизации, а также continuous learning.

Исследовать Alignment с использованием RL
Мы строим алгоритмы, которые адаптируются под вкусы пользователей с использованием GRPO, обучаясь как на reward-модели, так и на прямом фидбэке.

Интегрироваться в LLM в качестве новой модальности
Мы исследуем не только модели генеративной персонализации, но и возможности их объединения с LLM, чтобы строить системы с уникальными свойствами: способностью следовать инструкциям и объяснять рекомендации.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Глубоко понимаете, как устроен современный DL с научной и инженерной точек зрения
• Командный игрок: готовы браться за широкий спектр задач, которые продвигают команду вперёд
• Следите за трендами в таких областях, как LLM, мультимодальность, RecSys