Старший ML-разработчик в команду Нейро

Мы разрабатываем Нейро — систему моделей для построения ответов LLM с использованием Поиска как источника информации и обогащения ответа. Мы внедрили такую систему в Поиск Яндекса и сейчас стоим перед новым вызовом: научиться решать сложные сценарии с использованием Поиска, которые возникают в чате с Алисой.

Представьте запрос: «Составь план путешествия, чтобы увидеть косаток летом». Чтобы построить хороший ответ на него, нужен многостадийный поиск, данные отелей, картинки, хорошая структура и высокая достоверность — и таких запросов сотни тысяч с разными аспектами.

Наша команда отвечает за алайнмент модели Нейро: обучает SFT, исследует самые новые алгоритмы RL, максимизирует реворды, внедряет длинные контексты и MoE, исследует агентские способности для улучшения качества источников. Важна часть с оптимизацией моделей: Нейро используют десятки миллионов людей, и чтобы держать такую нагрузку, нужно постоянно искать и внедрять новые методы оптимизации.

В связи с расширением задач мы ищем в команду опытного DL-инженера с богатым экспертным опытом в LLM. Нам нужен специалист, который способен не только писать сложный и масштабируемый код для распределённого обучения RL-агентов, но и успешно отлаживать процесс обучения больших моделей, находить и устранять проблемы с производительностью, сходимостью и стабильностью.

Какие задачи вас ждут

Исследование подходов RL
Нейро должен не только писать тексты, но и использовать картинки, видео и подходящую структуру, поэтому мы используем десятки реворд-моделей для оптимизации разных аспектов. У нас есть работающий пайплайн обучения, но он далёк от идеала. Нужно будет читать статьи, пробовать новые методы и совершенствовать текущие.

Разработка Deep Search
Мы строим систему, которая автоматически находит и отбирает качественные источники для генерации ответов. Deep Search находится в активной стадии исследований: обучение нестабильно, модель склонна к переобучению, а синтетические данные не всегда отражают реальные сценарии. Используем синхронный фреймворк, который мешает быстрой итерации. Предстоит много исследовательской и инженерной работы: от стабилизации обучения и улучшения данных до оптимизации инфраструктуры и тестирования новых архитектур.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Понимаете, как устроены LLM, как они обучаются и какие у них степени свободы
• Знаете классический DL и ML
• Пишете код на Python
• Читаете статьи и готовы к сложным вызовам и смелым задачам