MLOps\ML inference engineer

Описание

Мы разрабатываем автономные агентные решения на основе больших языковых моделей (LLM) для высоконагруженных систем оценки нефинансовых рисков. Наша миссия — обеспечить мгновенную, надёжную и безопасную работу ИИ-агентов в продакшене  без участия человека. Центральный вызов — минимизировать latency и задержки в инференсе, сохраняя при этом масштабируемость, устойчивость и безопасность архитектуры.

Обязанности

* Проектировать, развивать и оптимизировать высокопроизводительный стек инференса для LLM и других моделей (низкая задержка, высокая пропускная способность) * внедрять современные методы и архитектуры (vLLM, TensorRT-LLM, FlashAttention и др.), снижающие latency и повышающие эффективность использования GPU * создавать инструменты наблюдаемости, позволяющие выявлять узкие места, источники нестабильности и избыточного потребления ресурсов * участвовать в проектировании и эволюции агентных архитектур: оркестрация, память, безопасные guardrails, оценка качества * проводить технические исследования (R&D), быстро прототипировать, измерять и масштабировать решения в продакшен. * влиять на инженерную культуру: участвовать в дизайн-сессиях, код-ревью, менторстве, формировании best practices.

Требования

* Опыт в промышленной backend-разработке на Python (или близком стеке), с фокусом на производительность и надёжность * глубокое понимание современных архитектур ML/LLM и интуитивное чувство, как их оптимизировать именно для инференса * уверенный опыт работы с PyTorch, NVIDIA GPU и стеком оптимизации: CUDA, NCCL, TensorRT, cuBLAS, и т.п * знакомство с технологиями HPC (InfiniBand, NVLink, RDMA) — приветствуется. * опыт проектирования распределённых, высоконагруженных систем с продуманной observability (логи, метрики, трассировка) * привычка всё измерять, принимать решения на основе данных и метрик. * практика эксплуатации ML систем в продакшене: A/B-тесты, офлайн/онлайн-оценка, мониторинг деградации качества * способность быстро осваивать новые концепции (агенты, RAG, инструментализация, безопасность) и доводить их до рабочего состояния.

Условия

* комфортный современный офис рядом с м. Кутузовская * гибридный формат работы * ежегодный пересмотр зарплаты и годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.