Middle RL Engineer (SberAI)

Описание

Мы в Сбере запускаем новый проект - Embodied AI. Наша цель - стать центром компетенций по использованию новых модальностей при обучении роботов и VLA, упростить сбор подобных данных, а также разработать собственную модель, способную эффективно работать с самыми разными модальностями, включая запахи и прикосновения.

Обязанности

* Проектировать и реализовывать RL‑и имитационные пайплайны для роботов и VLA‑агентов: постановка задач, выбор алгоритмов, дизайн наград, оценка политики * Разрабатывать и поддерживать инфраструктуру обучения: симуляторы, сценарии, генерация мультимодальных данных (визуальные, сенсорные, тактильные), интеграция с существующими дата‑платформами Сбера * Адаптировать и дорабатывать state‑of‑the‑art алгоритмы и архитектуры (off‑policy/on‑policy RL, offline RL, imitation learning, VLA‑модели) под конкретные задачи роботов и виртуальных агентов.

Требования

* 2+ года опыта в ML/RL, из них не менее года с фокусом на RL, робототехнику или сложные sequential‑decision задачи * Уверенное владение математическим аппаратом: математический анализ, линейная алгебра, теория вероятностей * Продвинутые знания Python и PyTorch: реализация кастомных датасэмплеров и функций потерь * Понимание принципов Distibuted training * Глубокое понимание RL: on‑policy/off‑policy, value‑based vs policy‑gradient, entropy regularization, replay buffers, exploration, credit assignment. * Практика с распространенными алгоритмами (PPO, SAC, TD3, DQN‑семейство, BC, GAIL и др.), умение адаптировать их под нестандартные среды * Опыт работы с симуляторами и/или реальными роботами: Isaac Gym / Isaac Sim, MuJoCo, PyBullet, Habitat, Unity/Unreal‑симуляции. Будет большим плюсом * Опыт разработки на C++ для low-level robotics * Знакомство с мультимодальными моделями: CLIP, Flamingo‑подобные архитектуры, VLA‑подходы.

Условия

* Комфортный современный офис рядом с м. Кутузовская * Гибридный формат работы * Ежегодный пересмотр зарплаты. Годовая премия * Корпоративный спортзал и зоны отдыха * Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * Программа адаптации и помощь руководителя на старте * Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * Вознаграждение за рекомендацию друзей в команду Сбера.