Старший LLM-разработчик в Нейро

Мы делаем Нейро — систему моделей для построения ответов LLM с использованием Поиска как источника информации и обогащений ответа. Мы внедрили такую систему в Поиск Яндекса и сейчас стоим перед новым вызовом: научиться решать сложные сценарии с использованием Поиска, которые возникают в чате с Алисой.

Представьте запрос «составь план путешествия, чтобы увидеть косаток летом». Чтобы построить хороший ответ на него, нужен многостадийный поиск, использование данных от отелей и картинок, хорошая структура и высокая достоверность, и таких запросов сотни тысяч из разных аспектов.

Наша команда отвечает за align модели Нейро: обучает SFT, исследует самые новые алгоритмы RL, максимизирует реворды, внедряет длинные контексты и MoE, исследует агентские способности для улучшения качества источников. Также важна часть с оптимизациями моделей: Нейро используют десятки миллионов человек, и, чтобы держать такую нагрузку, нужно постоянно искать и внедрять новые методы оптимизации. Сейчас перед нами стоят новые вызовы, и мы ищем в команду сильного DL-разработчика, знающего LLM и умеющего писать код.

Какие задачи вас ждут

Исследование подходов RL
Так как Нейро должен не только писать тексты, но и использовать картинки, видео, подходящую структуру, мы используем десятки реворд-моделей для оптимизации разных аспектов. Сейчас наши основные методы — DPO и CE RL, но они несовершенны, и мы хотим обучаться эффективнее. Нужно будет читать статьи, реализовывать новые методы и совершенствовать текущие.

Оптимизация моделей
Раскатка Нейро на миллионы пользователей — это очень дорого с точки зрения ГПУ, а когда речь идёт о многостадийном поиске, то числа становятся совсем заоблачными. Нужно исследовать, реализовывать и иногда дебажить квантования, дистилляции, спекдеки, а потом внедрять их без потерь качества.

Поиск новых направлений
Когда делаешь новый продукт, возникает множество челленджей, и важно среди них находить точки роста, которые потом конвертируются в задачи. Например, нам не хватает более длинного контекста, умения «видеть» картинки, не хватает сложных многошаговых поисков. Когда такая точка роста находится, ты должен превратить её в задачу, договориться со смежниками о совместных действиях и довести до конца не только как разработчик, но и как менеджер. Такие задачи отлично помогают расти в сторону лида или техлида, и возникают они регулярно.

Мы ждем, что вы

• Понимаете, как устроены LLM, как они обучаются и какие у них степени свободы
• Знаете классический DL и ML
• Пишете код на Python
• Читаете статьи и готовы к сложным вызовам и амбициозным задачам

Будет плюсом, если вы

• Работали с RL
• Занимались реализацией методов оптимизации или продакшн-инференса моделей