ML-разработчик в группу разработки рекомендательных сервисов

Мы создаём рекомендательные системы, которые помогают миллионам пользователей находить именно то, что им нужно. Наша команда работает на стыке рекомендательных систем, глубокого обучения и инфраструктуры. Внедряем наши подходы в высоконагруженные сервисы на тысячи RPS и умеем делать это надёжно.

Что у нас есть:

• Высокая техническая и исследовательская культура
• Удобные инструменты для прототипирования и проведения экспериментов
• Сотни топовых GPU и петабайты логов для обучения и инференса моделей
• Вариативность проектов и развитие экспертного опыта в области рекомендаций на различных доменах внутри команды
• Возможность внедрять E2E-решения, которые непосредственно влияют на пользователей

Какие задачи вас ждут

Оптимизировать GPU генеративного инференса
Разработка рекомендательных систем сопряжена с большим количеством экспериментов с архитектурой и составными частями — это отличает её от языковых моделей. Поэтому система инференса должна быть гибкой и адаптивной, должна использовать максимум возможностей аппаратной части. Вашей задачей будет ускорение инференса вплоть до написания кастомных ядер на одном из бэкендов системы.

Внедрять алгоритмы RL-обучения рекомендательных моделей
Мы умеем улучшать качество рекомендаций: для этого ускоряем обновление и выкатку нейросетевых моделей. В отличие от классического подхода supervised fine-tuning мы делаем ставку на RL-подход к дообучению — используем GRPO и DPO. Поэтому нам важно как можно быстрее обучать модель на её собственном фидбэке и обновлять веса. Вам предстоит строить полностью runtime-пайплайн распределённого обучения на десятках GPU, который позволит «катать» модели каждые 15 минут.

Строить и внедрять распределённый RT-процессинг
Для обучения и сервинга моделей нужно обеспечить надёжную поставку семплов для обучения. Современные рекомендательные нейросети работают с большим пользовательским профилем, который хранит историю взаимодействия с сервисом. Нужно эффективно хранить, передавать и обрабатывать такие данные — и делать это в условиях возможного отключения одного из дата-центров. Вы будете расширять существующие и внедрять новые системы для сервисов Яндекса с рекомендациями.

Внедрять концепцию Feature Store для улучшения ML-пайплайнов
Как обеспечить консистентность обработки данных в реальном времени и batch-режиме на MapReduce? Мы разрабатываем фреймворк, который уже внедрён в домены Музыки и Картинок и гарантирует консистентность. Вам предстоит расширять его функциональность и сферу использования.

Мы ждем, что вы

• Владеете Python и C++, в том числе имеете уверенные навыки оптимизации
• Понимаете основы работы нейронных сетей
• Имеете опыт разработки и отладки многопоточных или высоконагруженных систем
• Умеете разбираться в чужом коде и предлагать улучшения архитектуры