Senior Vision Language Agents Expert (VLA)

Описание

Команда GigaVision развивает мультимодальные и агентные модели нового поколения — GigaChat Vision и другие модели семейства GigaChat. Мы строим foundation-модели, способные решать задачи восприятия, понимания, планирования и действия в сложных средах — от симуляторов до реального мира. Мы расширяем команду для разработки Vision Language Agents Expert (VLA) моделей в приложениях к робототехнике, автономному вождению и интерактивным агентам.

Обязанности

* разрабатывать и масштабировать пайплайны претрейнинга VLA моделей на базе Vision-Language моделей (VLM) * подбирать и подготавливать мультимодальные датасеты (изображения, видео, текст, действия, сенсорные данные) * интегрировать знания и механизмы LLM/VLM в агентную архитектуру с поддержкой восприятия и действия * разрабатывать архитектуры, методы обучения и токенизации действий * проводить прикладные эксперименты, направленные на реализацию и доведение моделей до рабочего прототипа и продакшн-уровня * работать в связке с инженерами и специалистами предметной области для построения end-to-end решений

Требования

* практический опыт работы с Vision-Language моделями: Flamingo, LLaVA, BLIP, IDEFICS, InternVL и др. * опыт претрейнинга или масштабного дообучения VLM/VLA моделей * глубокое понимание одной из прикладных областей: робототехника, autonomous driving, embodied AI * владение фреймворками: PyTorch, HuggingFace Transformers, FSDP * опыт построения мультимодальных пайплайнов (видео, изображения, текст, действия) * знание подходов к обучению агентов по демонстрациям и с использованием мультимодальных сигналов * умение работать с распределённым обучением и inference пайплайнами Будет плюсом * опыт работы с симуляторами (CARLA, Isaac Gym, Habitat, MuJoCo) * знание современных подходов к action modeling, video-language alignment, temporal reasoning * опыт внедрения моделей в прототипы и взаимодействия с downstream-сценариями * опыт с reinforcement learning для мультимодальных агентов

Условия

* комфортный современный офис рядом с м. Кутузовская * формат работы обсуждается (но вы должны находится в Мос. области) * ежегодный пересмотр зарплаты, квартальная и годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * программа адаптации и помощь руководителя на старте * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * ипотека выгоднее до 7% для каждого сотрудника * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера