ML-разработчик в команду 3D-реконструкции

Мы строим симуляцию сенсоров для автономного транспорта — по сути, создаём цифровой мир, в котором можно реалистично воспроизводить людей, автомобили, городскую среду, погодные условия, освещение и отклик сенсоров. Наша цель — сделать систему, которая позволит моделировать поведение реального мира на уровне, достаточном для обучения, тестирования и развития автономного транспорта. Работа делится на несколько больших направлений: цифровые двойники мира, управляемые аватары и сцены, генеративное расширение мира, разнообразие и симуляция сенсоров.

За последнее время команда показала результаты сразу в нескольких направлениях: научные публикации, выступления на международных конференциях и патентная работа в области 3D/4D-реконструкции, volumetric video, Gaussian Splatting и технологий, связанных с симуляцией и цифровыми двойниками.

Какие задачи вас ждут

Разрабатывать методы построения цифровых двойников, проводить эксперименты
На первом этапе мы создаём цифровых двойников людей, автомобилей и пространств с использованием 3D/4D Gaussian Splatting и других подходов по представлению сцены. Качество симуляции напрямую зависит от качества входных данных. Поэтому важная часть работы — эксперименты с оборудованием, процессами съёмки и сбора данных, а также плотное взаимодействие с hardware-командой автономного транспорта. Создавать управляемые сценовые представления и аватары
На следующем этапе вам предстоит создавать аватары людей, автомобилей и окружения, которыми можно управлять внутри симуляции. Важно не только воссоздать объект, но и уметь задавать его состояние, поведение и динамику сцены: кто и как движется, что происходит вокруг автомобиля, как меняется окружение со временем. Исследовать подходы к генерации новых сцен и вариативности мира
Когда накопится достаточно качественных ассетов, следующей задачей будет достройка и генерация пространства вокруг автомобиля с помощью диффузионных моделей, трансформеров и других генеративных подходов. Здесь мы хотим перейти от реконструкции отдельных сцен к масштабируемому синтезу новых реалистичных миров на базе накопленных данных. Финальный слой — генерация вариативности: погода, освещение, состояние дорожной среды, редкие и сложные сценарии, а также непосредственный инференс сенсоров из полученной сцены.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Имеете сильную алгоритмическую и ML-подготовку
• Умеете проводить эксперименты и быстро проверять гипотезы
• Готовы работать не только с моделями и кодом, но и с физическим миром, данными и оборудованием
• Хорошо взаимодействуете со смежными командами и не боитесь междисциплинарной работы

Будет плюсом, если вы

• Работали в областях, связанных с 3D-реконструкцией, NeRF/3DGS, computer vision, generative models, simulation