ML engineer LLM GigaChat

Описание

Мы — GigaChat Alignment. Делаем модель полезной и надёжной: SFT/DPO, дистилляция в маленькие модели, LoRA-сервис, метрики и валидирующие пайплайны. Быстро проверяем гипотезы, ускоряем обучение и выкатываем улучшения в прод — сначала для внутренних клиентов, потом для всей России. Направления Улучшение SFT / DPO: тестирование новый подходов к обучению, ускорение пайплайнов, генерация новых данных, дистиляция знаний из больших LLM в маленькие. Развитие метрик качества GigaChat-а, например, через оценку способности решать задачи олимпиад международного уровня. Развитие внутреннего LLM-AS-A-JUDGE Разработка сервиса Lora обучения GigaChat и GigaEmbeder. Повышение стабильности и воспроизводимости запусков, создание пайплайнов валидации и генерации данных с помощью ЛЛМ. На эти роли мы ищем талантливого NLP Engineer, с которым будем вместе совершенствовать и развивать GigaChat. Для всех этих экспериментов у нас есть кластер с большим числом A/H 100'ых.

Обязанности

* распределенное обучение моделей на этапах SFT/DPO, дистиляция моделей * проведение research в области SFT/DPO для улучшения качества обучения и ускорения процесса * помощь в автоматизации end-to-end процессов обучения моделей и замера их качества * активные взаимодействия с командой online-rl для улучшения метрик cold-start reasoning * анализ обучающих датасетов, выявление взаимосвязей и влияния данных на итоговые метрики.

Требования

* высшее образование в топ вузе России или зарубежья * уверенные знания алгоритмов и структур данных * опыт обучения LLM (SFT, DPO) * опыт настройки локального инференса (SGLang, vLLM, TRTLLM) * понимание того, как устроен Python под капотом * умение анализировать научные статьи, воспроизводить их * опыт работы с распределенными системами (Ray, Dask, OpenMPI) * уверенные знания и опыт работы с Linux, Bash * уверенные знания PyTorch

Условия

* комфортный современный офис - м. Кутузовская * ежегодный пересмотр зарплаты, годовой бонус * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера * корпоративная пенсионная программа.