Senior ML-инженер по инфраструктуре данных (GigaChat Data)

Описание

GigaChat — мультимодальная модель, которая работает с текстом, аудио, изображениями и видео. Команда ML-инженеров делает всё, что лежит под капотом её разработки: пайплайны обработки и синтеза данных по всем модальностям, фреймворки для экспериментов с post-training (SFT, DPO, GRPO, online RL), хранение и версионирование терабайт датасетов, инструменты оценки и валидации. На этом фундаменте стоит вся работа с данными при разработке GigaChat. Мы ищем сильного Individual contributor (IC) в команду ML-инженеров, который умеет в одиночку доводить сложные технические задачи до промышленного качества и готов выступать техническим наставником для одного-трёх стажёров или джуниоров: декомпозировать задачи, проводить код-ревью, помогать ребятам расти.

Обязанности

### Чем предстоит заниматься * автоматизировать проведение экспериментов с post-training. Строить фреймворк для запуска экспериментов SFT, DPO, GRPO и online RL. Превращать разовые скрипты исследователей в воспроизводимые пайплайны. Сокращать время от идеи до первого результата * строить пайплайны предразметки и расширения данных. Разрабатывать пайплайны псевдоразметки и дистилляции. Строить системы аугментации данных под нужды post-training. Автоматизировать оценку моделью-судьёй (LLM-as-judge). Закладывать в пайплайны измеримые метрики качества данных * работать с большими данными на YTsaurus и MapReduce. Проектировать и поддерживать таблицы и операции на YTsaurus. Писать эффективные MapReduce-операции на Python. Выстраивать версионирование датасетов. Делать офлайн-инференс на YT * добывать трудные негативные примеры и улучшать качество выборок. Строить пайплайны майнинга трудных негативных примеров для retrieval-, ranker- и reward-моделей с итеративным отбором между этапами обучения.   Поднимать качество тренировочных выборок. Передавать в команды post-training готовые выборки * собирать и обрабатывать продуктовые логи. Строить пайплайны сбора и обработки логов GigaChat: диалоги пользователей, явная и неявная обратная связь. Делать очистку и анонимизацию. Превращать сырые логи в готовые источники данных для post-training: кандидаты для SFT, пары DPO из правок, негативные примеры из отрицательной обратной связи, данные траекторий для online RL * делать инструменты валидации и оценки моделей. Разрабатывать инструменты для валидации качества моделей и автоматического контроля качества данных. Собирать наборы бенчмарков и метрики, которые действительно предсказывают поведение модели на проде, а не просто коррелируют с академическими рейтингами * поддерживать инфраструктуру экспериментов и хостинга моделей. Помогать команде поддерживать хостинг открытых моделей (Llama, Qwen, Mistral, vLLM/TGI) для использования внутри пайплайнов генерации и оценки данных. Участвовать в развитии инструментов учёта экспериментов (MLflow / W&B / DVC и внутренние аналоги) * наставничество. Брать в работу одного-трёх стажёров или джуниоров команды: декомпозировать сложные задачи на куски, делать код-ревью, проводить парные сессии, объяснять инженерный контекст.

Требования

### Для нас важно * сильный Python — промышленный код, тесты, профилирование, асинхронные пайплайны * опыт построения пайплайнов обработки данных на YTsaurus / YT (или близких системах: Spark, Hadoop) с MapReduce-операциями на масштабе десятков и сотен миллионов записей * понимание полного цикла работы с данными для обучения LLM: сбор, очистка, фильтрация, дедупликация, аугментация, версионирование * практический опыт хотя бы с одним из методов post-training (SFT, DPO, RLHF/GRPO, online RL): понимание формата данных, типичных проблем, метрик качества * опыт с открытыми LLM (Llama, Qwen, Mistral) и/или проприетарными моделями (GPT, Claude, Gemini) — хотя бы как пользователь в собственных пайплайнах * умение довести задачу до промышленного качества в одиночку: от прототипа до сервиса, который не падает, не теряет данные и предсказуемо себя ведёт под нагрузкой * умение работать в условиях исследовательской неопределённости: требования меняются, эксперименты опровергаются, нужно держать гибкий пайплайн * готовность к наставничеству внутри команды. ### Будет плюсом * опыт построения пайплайнов GRPO / online RL: данные роллаутов, инференс наград, хранение траекторий * опыт майнинга трудных негативных примеров для retrieval-, ranker- и reward-моделей * опыт построения систем оценки моделью-судьёй (LLM-as-judge) и автоматической оценки по рубрикам * опыт работы с verl, llm-foundry, TRL или другими фреймворками для post-training * опыт построения сервисов для хостинга моделей (vLLM, TGI, SGLang) с требованиями к задержкам * уверенное использование Claude Code и Cursor в ежедневной работе — и для собственной продуктивности, и как встроенного инструмента внутри своих пайплайнов (агентная обработка данных, инструменты для исследователей) * вклад в открытый код (датасеты, ML-инфраструктура, фреймворки для оценки) либо выступления на HighLoad++ / Data Fest / AI Journey * опыт работы с системами версионирования данных и экспериментов (DVC, MLflow, W&B) * опыт работы с фреймворками для агентов и RAG (LangChain, LangGraph и аналоги) — как поставщик данных и инструментов.

Условия

### Мы предлагаем * IC-трек с фокусом на технической экспертизе: рост по линии Senior → Staff → Principal * cвободу в выборе инструментов и подходов под задачу — мы поощряем эксперименты с Claude Code, Cursor, агентными пайплайнами для собственной продуктивности * крупнейшее AI community — более 600 DS-специалистов банка * дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира * возможность выбрать удобный формат работы: гибрид или офис * комфортный современный офис: ст. м. Кутузовская, пр. Кутузовский, 32 * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * ипотека выгоднее до 7% для каждого сотрудника * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.