ML engineer (Мониторинг инфраструктуры)

Описание

Команда инфраструктурного мониторинга отвечает за стабильность и производительность высоконагруженных систем. Мы переходим от реактивного подхода к проактивному: строим систему, которая предсказывает сбои до их возникновения. Наша цель — создать внутренний AI-слой, который автоматизирует рутину эксплуатации, анализирует петабайты логов и трассировок, а также помогает инженерам принимать решения на основе данных, а не интуиции.

Обязанности

### Чем предстоит заниматься: * создавать и внедрять в продакшен модели временных рядов для прогнозирования нагрузки на инфраструктуру и предиктивного алертинга, чтобы выявлять аномалии за часы или дни до деградации сервиса * разрабатывать пайплайны автоматической классификации и группировки алертов и строить системы семантического поиска и суммаризации причин сбоев по неструктурированным данным с использованием внутренних LLM * проектировать архитектуру взаимодействия с внутренними LLM для автоматической категоризации инцидентов, генерации рекомендаций по устранению и нормализации данных мониторинга * выстраивать полный цикл работы с ML в production от версионирования данных и моделей (MLflow / DVC) до автоматизированного A/B-тестирования версий моделей, мониторинга деградации качества (data drift, concept drift) и автоматического переобучения * применять методы оптимизации инференса для обеспечения низкой задержки ответов AI-сервисов в контуре real-time мониторинга * участвовать в проектировании потоков данных (ClickHouse, Redis, Kafka) для обеспечения ML-моделей актуальными фичами в режиме, близком к реальному времени * работать в тесной связке с SRE, DevOps и разработчиками бэкенда для обеспечения отказоустойчивости AI-сервисов и развития CI/CD-процессов.

Требования

### Мы ждем от тебя: * коммерческий опыт разработки на Python от 3-х лет, уверенное знание Python Core, GIL и принципов работы CPython * понимание классического машинного обучения от алгоритмов временных рядов (ARIMA, Prophet, LSTM, CatBoost для time-series) до задач классификации и кластеризации * опыт работы с СУБД в рамках написания сложных запросов, понимание партиционирования и движков таблиц (PostgreSQL, Oracle, Redis, ClickHouse) * опыт написания качественного, покрытого тестами кода (pytest, unittest, принципы TDD, проектирование тестируемой архитектуры) * опыт работы с Docker, понимание многослойных образов и оптимизации их размера, опыт работы с GitLab CI, Jenkins или GitHub Actions, написание пайплайнов для автоматической сборки, тестирования и доставки ML-сервисов * знание протоколов сетевого взаимодействия HTTP/1.1, HTTP/2, REST, gRPC, а также брокеров сообщений (Kafka, RabbitMQ) * практический опыт MLOps: контейнеризация моделей, настройка мониторинга дрейфа данных, пайпланы переобучения. Будет плюсом: * опыт работы с экосистемой Big Data: PySpark, Hadoop, Airflow (построение сложных DAG для подготовки фичей) * опыт работы с Kubernetes/Openshift: написание Helm-чартов, настройка ресурсов (CPU/Memory), работа с PodDisruptionBudgets и HorizontalPodAutoscaler. * понимание Observability-стека: Prometheus (архитектура, PromQL), Grafana, Loki, Tempo, OpenTelemetry * опыт работы в fintech, highload или data-intensive проектах, где цена ложного срабатывания или пропуска аномалии критически высока * опыт интеграции с LLM через API, prompt engineering, работа с векторными базами данных для RAG и семантического поиска * знание спецификаций взаимодействия с моделями или опыт разработки собственных AI-агентов для автоматизации рутинных задач эксплуатации.

Условия

### **Мы предлагаем:** * офис рядом с м. Кожуховская * офисный формат работы на время адаптации * ежегодный пересмотр зарплаты и годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера.