Senior RL Researcher

Описание

В Центре Робототехники Сбера мы занимаемся созданием универсального воплощенного ИИ, который способен управлять разнообразными физическими воплощениями, в частности манипуляторами, мобильными колесными роботами и роботами-собаками. Кроме этого, одним из ключевых направлений нашей работы является разработка антропоморфного робота общего назначения.

Обязанности

* Настраивать процесс обучения нейронных сетей * Написание пайплайнов обучения на кластере * Настраивать окружение в симуляторе IsaacSim (В частности, IsaacLab) * Проводить валидирование решений на роботе * Писать качественный код

Требования

* Разбираетесь в обучении с подкреплением, локальных планировщиках для навигации, LLM/VLM/VLA, в исполнении и обучении нейронных сетей (не менее 3х): 1. PyTorch 2. Глубокое понимание теоретических основ RL: MDP/POMDP, Bellman equations, Value/Policy Iteration, методы Policy Gradient, Actor-Critic методы 3. Понимание model-based RL как работают алгоритмы DreamerV3, TDMPC2 4. Опыт применения VLM/VLA в проектах 5. Понимание проблем RL: exploration/exploitation dilemma, credit assignment, sparse rewards, partial observability, stability of learning. 6. Опыт работы с фреймворками RL: Stable Baselines3, Gym/Gymnasium (включая создание своих environments). 7. Практический опыт работы с нейронными сетями (CNN, RNN/LSTM, Transformers) включая их проектирование, обучение и отладку. 8. Опыт работы с **физическими симуляторами роботов**: **PyBullet, MuJoCo, Isaac Sim (NVIDIA Omniverse)**, Gazebo (Что-то одно) 9. Опыт работы над локальными планировщиками для навигации DWA, MPC, MPPI (Nav2) * Можете не только воспроизвести научную статью, но и улучшить * Обладаете хорошими навыками разработки на Python * Знаете Linux, Git, Bash и Docker **Также плюсом будет:** * Опыт доведения исследований до продакшена * **Open-source** проекты * Опыт работы с ROS (Robot Operating System) 1 или 2 * CUDA

Условия

* Дружный и высококвалифицированный коллектив * Уникальные масштабные проекты, работа в приоритетном направлении * Достойная заработная плата (оклад + годовая премия) * Современные рабочие места и программное обеспечение * ДМС, корпоративная пенсионная программа, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия * Высокий уровень корпоративной культуры * Работа в офисе (г. Москва, метро Кутузовская), возможность гибридного графика