Senior LLM engineer / Inference Engineer (Центр Практического ИИ)

Описание

Наша команда строит и дообучает линейку LLM под банковские сценарии и запускает модели в пром в "жёстких" контурах: локальные устройства / закрытые контуры / строгие SLA по задержкам. Работа включает полный цикл: данные → дообучение → оценка качества → оптимизация инференса → нагрузочное тестирование → внедрение.

Обязанности

• дообучение LLM под конкретные, прикладные банковские задачи (instruction-tuning, adapters/LoRA, SFT; при необходимости alignment-подходы) • разработка и оптимизация AI-агентов и сложных RAG-пайплайнов (LangChain / LlamaIndex / LangGraph и аналоги): маршрутизация, инструменты, память, ранжирование, мульти-источники • построение и улучшение пайплайнов инференса под заданные требования latency / throughput / cost-to-inference (батчинг, KV-cache, спекулятивные подходы, профилирование) • оптимизация исполнения моделей под конкретное железо и контур исполнения (выбор архитектуры, ускорение узких мест, Triton/CUDA-ориентированные улучшения при необходимости) • проведение НТ (нагрузочного тестирования) и перформанс-валидации: методология тестов, сценарии, метрики, воспроизводимость, выводы и отчеты • сбор и подготовка данных для дообучения: постановка требований к датасетам, стратегия сбора и разметки, генерация синтетики там, где уместно, контроль качества данных • разработка метрик качества и системы оценки (golden set, пайплайна автоматической оценки + ручная разметка, регрессия качества, сравнение версий, ведение отчетности) • упаковка модели в сервисы / SDK, интеграция с внутренними APi/базами знаний, совместная работа с инженерами платформы и продуктом до вывода в продакшн.

Требования

* опыт в NLP/LLM от 5 лет * уверенная практика с LLM/transformers * уверенные знания python * понимание архитектуры LLM и принципов построения inference-пайплайнов, опыт с vLLM / TensorRT-LLM / TGI / ONNX Runtime, квант пайплайны (AWQ/GPTQ/bitsandbytes и др.) * практический опыт Fine-Tuning LLM под разные задачи (QA, классификация, извлечение сущностей, суммаризация, перевод, code-task как преимущество) * опыт построения RAG-пайплайнов и AI-агентов / мультиагентных систем * умение проектировать воспроизводимые эксперименты и валидировать изменения цифрами Будет плюсом: * опыт оптимизации производительности (профилирование, поиск узких мест на CPU/GPU, память), понимание trade-offs качества vs скорость vs стоимость, опыт low-latency / on-device / edge deployments * опыт индустриальной разработки (тесты, код стайл, ревью, CI/CD, devops процессы) * опыт работы с инфраструктурой разработки и деплоя (Linux, Docker, Kuber, мониторинг) * опыт построения reusable-компонент (core LLM / фреймворки / платформенные решения), которые переиспользуются разными заказчиками в разных продуктах * практика чтения и имплементации решений из научных статей (без жесткого фанатизма).

Условия

* комфортный современный офис г.Москва, рядом с метро Кутузовская * возможность выбрать удобный график – офис/гибрид (с посещение офиса не менее 2х дней в неделю) * ежегодный пересмотр зарплаты и годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.