Senior Research Engineer (Multimodal Diffusion & RLHF)

Описание

Исследуем и внедряем передовые методы для инструктивного редактирования изображений/видео, интеграции аудио в видео-генерацию и повышения качества за счет RLHF (Reinforcement Learning from Human Feedback).

Обязанности

* разработка и обучение диффузионных моделей для инструктивного редактирования видео и изображений * исследование архитектур для совместной генерации видео и синхронизированного аудио по текстовому промпту * создание пайплайна RLHF для тонкой настройки моделей: обучение мультимодальных reward-моделей (видео/аудио/текст), интеграция алгоритмов RL (PPO, DPO, GRPO) в диффузионный пайплайн * проектирование экспериментов, анализ результатов * тесная коллаборация с Distributed Engineers для эффективной имплементации идей.

Требования

* сильный бэкграунд в CV, генеративных моделях (Diffusion, GANs), мультимодальном ML * опыт работы с диффузионными моделями (Stable Diffusion/FLUX, Wan 2.X и пр.) и фреймворками (Diffusers) * практические знания Reinforcement Learning, особенно RLHF * уверенное владение PyTorch и навыки распределенного обучения (DDP/FSDP) * способность быстро прототипировать и проводить исследования SOTA методов * бонус: Опыт с аудио-генерацией (AudioLDM, MusicGen), публикации на NeurIPS/ICML/CVPR * навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.

Условия

* ежегодный пересмотр зарплаты, годовую премию * корпоративный спортзал и зоны отдыха * уникальную систему обучения Сбера для профессионального развития * расширенный ДМС и льготное страхование для семьи * бесплатную подписку СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера * корпоративную пенсионную программу.