Аналитик-разработчик систем оценки качества поиска

Чтобы обучать AI-модели, нужно собирать обучающие выборки, проводить бенчмарки и регулярно измерять качество данных. Это происходит с участием AI-тренеров, а наша команда отвечает за аналитическую и операционную поддержку процесса: помогает распределять исполнителей по проектам, оценивает качество их работы и следит за качеством итоговой разметки.

Направление новое, поэтому здесь можно не только решать уже поставленные задачи, но и существенно влиять на то, как будут устроены сами процессы и инструменты.

Какие задачи вас ждут

Оценка качества разметки
Измерять качество финальной разметки и работы AI-тренеров, строить метрики, бенчмарки и системы оценки, которые напрямую влияют на обучение моделей и релевантность поисковой выдачи. Анализировать стабильность и надёжность разметки, выявлять проблемные зоны в данных и предлагать, как повысить качество на уровне процессов и критериев оценки.

Аналитика качества исполнителей
Строить системы оценки и рейтинги исполнителей, анализировать их сильные стороны, зоны риска и динамику качества. Разрабатывать более точные подходы к распределению задач с учётом навыков, специализации и результатов прошлой работы, чтобы повышать качество данных и эффективность всего контура разметки.

Развитие процессов и инструментов
Плотно взаимодействовать с командами офлайн-метрик поиска, помогать развивать систему разметки и воронки обучения исполнителей, искать узкие места в процессах и предлагать, как их улучшить. Важная часть роли — находить возможности для автоматизации, делать процессы более масштабируемыми и создавать аналитические инструменты, которые позволят лучше управлять качеством данных.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Уверенно работаете с Python и SQL
• Знаете математическую статистику и теорию вероятностей
• Умеете формализовать и структурировать требования и ожидания заказчиков
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения

Будет плюсом, если вы

• Писали инструкции и самостоятельно запускали проекты разметки данных
• Понимаете процессы обучения ML-моделей и роли данных в качестве моделей
• Умеете создавать точные и эффективные промпты для генеративных нейросетей