ML Validation Engineer

Задачи

• Разработка общей стратегии и плана тестирования ML-моделей.
• Подготовка и управление данными для тестирования ML-моделей.
• Разработка новых и дополнение существующих CI/CD-пайплайнов, связанных с ML-моделями.
• Разработка программных пакетов, ускоряющих и упрощающих процессы тестирования и валидации при разработке.
• Ручная валидация и оценка ML-моделей (leakages, stability, drifts) в production.
• Участие в разработке метрик здоровья ML-моделей, их мониторинг и поддержка в production-окружении.
• Совместное с разработчиком составление документации.

Что мы ждём

• Знание Python (продвинутый уровень).
• Знание SQL (продвинутый уровень).
• Знание фреймворков валидации и мониторинга (Hypothesis, Great Expectations, Evidently AI, Locust, JMeter).
• Опыт работы с ML- и ETL-оркестраторами (Airflow, Kubeflow Pipelines, Dagster, Luigi, Kedro).
• Опыт работы с CI/CD-инструментами (TeamCity, Jenkins, GitLab).
• Знание VCS (GitHub, Bitbucket), pre-commit hooks.
• Знание Linux, Bash.
• Глубокое понимание основных этапов и подходов к разработке ML-моделей, знание метрик и частых ошибок.
• Умение разбираться в чужом коде и находить в нем ошибки.