ML-исследователь генеративных моделей персонализации

Мы занимаемся фундаментальными, семантическими и генеративными моделями в рекомендациях. Работаем с LLM-подобными архитектурами для поведенческого моделирования, прорабатываем единое семантическое представление для мультимодальных и мультидоменных данных. Наши модели применяются в ключевых рекомендательных системах Яндекса.

Какие задачи вас ждут

Единое семантическое представление мультидоменных мультимодальных данных
Мы определяем разнородные сущности продуктов Яндекса (рекламные баннеры, товары Маркета, поисковые запросы, etc.) в едином пространстве эмбеддингов, обучая модели одновременно на контентных фичах и паттернах поведения пользователей. В этой задаче необходимо активно пользоваться мультимодальными LLM и алайнить их представления с коллаборативным сигналом.

Семантическая токенизация
Мы экспериментируем с различными алгоритмами квантизаций эмбеддингов. Наша цель — представить любой элемент в цепочке поведения пользователя в виде набора дискретных токенов. Наличие в поведенческих токенах строгой иерархии и смысла позволяет нам использовать их в генеративных моделях — как обучаемых нами с нуля, так и предполагающих дообучение LLM.

Претрейн и файнтюн генеративных поведенческих моделей
Для обучения моделей с нуля мы имплементируем encoder-decoder-архитектуру, где энкодер кодирует представление об истории действий пользователя в экосистеме, а декодер генерирует последовательность семантических токенов для предсказания следующего действия пользователя.

Фундаментальные модели поведения пользователей в экосистеме Яндекса
Наша цель — обучать единую upstream-модель поведения пользователей на логах экосистемы, применяя её одновременно к множеству downstream-задач. Мы экспериментируем с multi-domain multi-task-моделями над разнородными последовательностями действий — прорабатывая специфичные архитектуры и рецепты обучения, а также общую семантику для разных событий.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Глубоко понимаете, как устроен современный DL с научной и инженерной точек зрения
• Следите за трендами в таких областях, как LLM, мультимодальность, RecSys
• Умеете превращать научные статьи в код: реализовывали SOTA-методы и алгоритмы