Старший специалист направления мониторинга качества моделирования

Обязанности:

Ищем аналитика в проект по созданию цензор-модуля — системы автоматической фильтрации нежелательного контента в генерации LLM. Модуль будет интегрирован в ключевые продукты банка — от виртуальных помощников до внутренних чат-ботов. Проект только запустился, поэтому будет возможность влиять на ход принятия решений. Зона ответственности — контроль качества и стабильности ML-сервисов цензор-модуля, построенных на базе LLM. На начальных этапах упор будет на работу с текстом, в будущем скорее всего придем и к работе с изображениями. Работа на стыке анализа данных, построения мониторинга, общения с разработкой и бизнесом. Ищем человека, который не просто «мониторит графики», а понимает, что происходит под капотом у моделей, умеет ставить гипотезы и проверять их на практике, готов копаться в логах, пайплайнах и коде.

• Мониторинг систем автоматической генерации текста и изображений с использованием продвинутых подходов в аналитике и математической статистике.

• Участие в проектировании и запуске систем контроля качества генерации.

• Построение и автоматизация пайплайнов для мониторинга моделей.

• Разработка метрик, визуализаций, алертов.

• Анализ отклонений, формулирование гипотез, тестирование и обсуждение с разработкой.

• Сбор, агрегация и интерпретация логов работы моделей.

• Работа в связке с продуктом, DS, разработкой и бизнесом.

Требования:

• Опыт в валидации, разработке или мониторинге NLP-моделей.

• Уверенное владение Python и SQL.

• Опыт работы с BI-инструментами.

• Опыт работы с Hadoop/Spark/Hive — важно.

• Понимание принципов работы LLM: от архитектур до особенностей inference.

• Умение формулировать гипотезы и проверять их на данных.

• Навыки постановки бизнес-требований, описание процессов.

Будет плюсом:

• Опыт в мониторинге ML-моделей.

• Участие в разработке или аудите LLM.

• Понимание базовых принципов MLOps или построения data-инфраструктуры.

• Участие в ML-соревнованиях, Kaggle-контестах, публикации, pet-проекты.

Условия:

• Минимум бюрократии — фокус на суть.

• Работа с живыми LLM в реальных продуктах.

• Карьерный рост: пересмотр зарплат раз в год.

• Квартальный бонус по результатам работы.

• ДМС со стоматологией с первого дня работы + 10 дней полной компенсации больничного.

• Стабильную работу в одном из крупнейших банков страны.

• Конкурентную заработную плату, соцпакет.

• Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).