ML-исследователь в команду архитектур с ранним связыванием

Мы — R&D-команда Яндекса, которая переносит подходы из мира LLM в рекомендательные системы. Наша цель — создать персонализацию следующего поколения на базе трансформерных архитектур.

Мы строим фундаментальные модели с нуля, экспериментируем с парадигмами обучения и внедряем SOTA-архитектуры в ключевые сервисы с нагрузкой в сотни тысяч RPS. Здесь нет жёстких фреймворков и готовых ответов — мы ищем пути первыми. У нас есть экспертность, огромный объём уникальных поведенческих данных и выделенный GPU-кластер для масштабных ML-экспериментов.

Какие задачи вас ждут

Модели и обучение
Мы представляем пользователя как упорядоченный набор событий — историю, которая кодируется с помощью трансформерных моделей в сжатое представление и используется для кандидатогенерации и ранжирования. В области рекомендательных систем нет устоявшегося подхода, поэтому мы активно экспериментируем с постановкой задачи, рецептом обучения и архитектурами.

Исследование моделей с ранним связыванием
Раннее связывание пользователя и кандидата в трансформерных моделях — это способность модели «видеть» историю и кандидата через attention-механизм. Такие модели вычислительно дороги в рантайме, сложны в обучении, но дают значительный буст качества.

Адаптация моделей для продакшна
Важный челлендж для нас — заставить модели работать в рантайме под высокой нагрузкой. Мы исследуем архитектурные оптимизации и используем специализированные фреймворки для инференса, а иногда даже пишем свои CUDA-кернелы на Triton.

Публикация результатов на международных конференциях
Мы поощряем написание статей и поездки на топовые конференции. В прошлом году мы представили Yambda на RecSys 2025, следующая цель — публикация новых подходов к ранжированию.

Возможность развития вширь
Как R&D-команда, мы не ограничены одним продуктом или одной технологией. При желании можно попробовать разные подходы в рекомендациях или погрузиться в другие сервисы.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Пишете поддерживаемый код на Python и отлично владеете PyTorch
• Не просто используете готовые архитектуры, а понимаете математику под капотом трансформеров, оптимизаторов и распределённого обучения (DDP/FSDP)
• Умеете быстро воспроизводить идеи из статей и доводить гипотезы до готовых выводов
• Отличаетесь инженерной смекалкой: понимаете, почему модель учится долго, как утилизировать GPU на 100% и как ускорить инференс

Будет плюсом, если вы

• Следите за трендами в RecSys, LLM или VLM и регулярно читаете статьи
• Подавали публикации на A/A*-конференции: NeurIPS, ICML, ICLR, RecSys, KDD, ACL
• Занимались спортивным программированием, участвовали в ML-соревнованиях или хакатонах