ML‑разработчик в бригаду сложных сценариев (группа обучения с подкреплением)

Планирование движения — одна из самых сложных задач в сфере автономных технологий. Мы экспериментируем с большими генеративными моделями, чтобы предсказывать, как будет двигаться автомобиль. Траектория должна быть безопасной для всех участников движения, комфортной для пассажира и позволять автомобилю доехать до конечной точки маршрута.

Мы хотим улучшить модель, чтобы она лучше справлялась с новыми дорожными ситуациями. Для этого исследуем новые алгоритмы RL‑обучения, экспериментируем с наградами и работаем с данными. В том числе развиваем направление сложных и редких сценариев для обучения ML‑планировщика.

Вам предстоит не только изучать статьи и пробовать разные подходы, но и внедрять собственные разработки в пайплайн движения автомобиля. Вы сможете увидеть, как ваша работа улучшает качество технологии.

Какие задачи вас ждут

Разработка алгоритмов
Вы будете разрабатывать алгоритмы, которые генерируют синтетические дорожные сценарии для ML‑планера. При этом предстоит изучить много материалов, придумать разные подходы и разобраться, как их воплотить в жизнь.

Исследование методов работы с агентами
Вы будете экспериментировать с разными подходами, в том числе с reinforcement learning и диффузионными моделями (diffusion models), чтобы изменить поведение агентов или добавить новых на сцену и создавать синтетический контент.

Улучшение RL‑обучения
Вы будете работать с синтетическими данными: не только создавать качественную синтетику, но и обучать модели на ней. Важно найти баланс между синтетическими и реальными данными, а также понять, как улучшать обучение при добавлении сцен без Ground Truth водителя.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Обучали нейросетевые модели
• Внедряли DL‑решения в продакшн
• Программировали на Python
• Работали с PyTorch
• Знаете классические структуры данных и алгоритмы
• Ориентируетесь в области DL
• Быстро разбираетесь в новых методах
• Умеете выдвигать гипотезы и выстраивать эксперименты для их проверки
• Читаете статьи о ML
• Следите за развитием области ML

Будет плюсом, если вы

• Внедряли методы обучения с подкреплением в продакшн
• Работали с диффузионными моделями
• Публиковались в сборниках научных конференций высокого уровня
• Работали с большими объёмами данных
• Участвовали в соревнованиях по ML или спортивному программированию
• Увлечены автомобилями или автономными автомобилями