Старший специалист (Мониторинг качества моделирования)

Ищем аналитика в проект по созданию цензор-модуля — системы автоматической фильтрации нежелательного контента в генерации LLM. Модуль будет интегрирован в ключевые продукты банка — от виртуальных помощников до внутренних чат-ботов. Проект только запустился, поэтому будет возможность влиять на ход принятия решений. Зона ответственности — контроль качества и стабильности ML-сервисов цензор-модуля, построенных на базе LLM. На начальных этапах упор будет на работу с текстом, в будущем скорее всего придем и к работе с изображениями. Работа на стыке анализа данных, построения мониторинга, общения с разработкой и бизнесом. Ищем человека, который не просто «мониторит графики», а понимает, что происходит под капотом у моделей, умеет ставить гипотезы и проверять их на практике, готов копаться в логах, пайплайнах и коде.

Задачи

• Мониторинг систем автоматической генерации текста и изображений с использованием продвинутых подходов в аналитике и мат статистике.
• Участие в проектировании и запуске систем контроля качества генерации.
• Построение и автоматизация пайплайнов для мониторинга моделей.
• Разработка метрик, визуализаций, алертов.
• Анализ отклонений, формулирование гипотез, тестирование и обсуждение с разработкой.
• Сбор, агрегация и интерпретация логов работы моделей.
• Работа в связке с продуктом, DS, разработкой и бизнесом.

Наши пожелания к кандидатам

• Опыт в валидации, разработке или мониторинге NLP-моделей.
• Уверенное владение Python и SQL.
• Опыт работы с BI-инструментами.
• Опыт работы с Hadoop/Spark/Hive — важно.
• Понимание принципов работы LLM: от архитектур до особенностей inference.
• Умение формулировать гипотезы и проверять их на данных.
• Навыки постановки бизнес-требований, описание процессов.

Будет плюсом

• Опыт в мониторинге ML-моделей.
• Участие в разработке или аудите LLM.
• Понимание базовых принципов MLOps или построения дата-инфраструктуры.
• Участие в ML-соревнованиях, Kaggle-контестах, публикации, pet-проекты.

Условия

• Минимум бюрократии — фокус на суть.
• Работа с живыми LLM в реальных продуктах.
• Карьерный рост: пересмотр зарплат раз в год.
• Квартальный бонус по результатам работы.
• ДМС со стоматологией с первого дня работы + 10 дней полной компенсации больничного.
• Стабильную работу в одном из крупнейших банков страны.
• Конкурентную заработную плату, соцпакет.
• Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).