Senior ML Engineer в Модерацию

Вместе с масштабным развитием IT-направления мы формируем культуру Trust and Safety, гарантируя непрерывную безопасность и доверие между компанией, её сотрудниками, пользователями и клиентами.

Команда "Управление моделями и ML-процессами" - новое направление, которое развивается в команде “Автоматическая модерация методами ИИ” кластера Модерация.

Мы делаем так, чтобы ML-модели не просто работали в production, а оставались качественными, управляемыми и постоянно развивались. Мы строим мониторинги, автоматизируем оценку качества, организовываем эксперименты, развиваем процессы дообучения и помогаем принимать решения на основе данных о "здоровье" моделей.

Мы в поиске коллеги, который будет разрабатывать процессы и сервисы, обеспечивающие эффективную эксплуатацию и развитие ML-моделей: мониторинг качества, анализ деградации, автоматизацию оценки моделей, организацию непрерывного обучения и проведение экспериментов.

Наши задачи:

• Проектирование метрик "здоровья" моделей;
• Мониторинг распределений входных данных и предсказаний;
• Мониторинг бизнес- и ML-метрик;
• Выявление деградации моделей;
• Разработка механизмов автоматического реагирования на изменения качества;
• Организация сбора Ground Truth;
• Проектирование триггеров для дообучения;
• Построение процессов переобучения с использованием ClearML;
• Анализ работы новых версий моделей.

Необходимые опыт и навыки:

• Опыт промышленного применения ML (Computer Vision, NLP/BERT, ML Governance, Continual Learning, Active Learning, Human-in-the-loop, A/B Testing);
• Глубокое понимание жизненного цикла ML-моделей;
• Системное мышление;
• Инженерный подход к автоматизации — стремление превращать ML-процессы в надежные и воспроизводимые сервисы;
• Опыт анализа работы моделей в оффлайне и онлайне;
• Уверенный Python;
• Уверенный SQL.