Аналитик-разработчик

Для обучения современных больших языковых моделей требуются высококачественные датасеты, в построении которых участвует большое количество AI-тренеров. У них разнообразная и сложная работа, что делает построение эффективной и справедливой системы контроля качества интересным вызовом.

Ищем аналитика-разработчика, который поможет нам совершенствовать систему контроля качества, делать её более справедливой, простой и понятной как для самих AI-тренеров, так и для заказчиков разметок, а также повышать устойчивость к фроду.

Почему у нас классно:

• Вы познакомитесь со всеми ключевыми разметками Поиска и Нейро в частности
• Сможете развивать как технические, так и коммуникативные и менеджерские навыки
• Будете влиять на мотивацию сотен AI-тренеров
• Поможете запускать систему контроля качества уникальных по сложности, масштабу и архитектуре краудсорс-проектов
• Будете тесно работать с аналитиками самых сложных разметок, помогая улучшать ключевые технологии Яндекса
• Сможете участвовать в постоянном обсуждении задач и обмене опытом внутри нашей слаженной команды аналитиков и ML-инженеров

Какие задачи вас ждут

Наблюдаемость и измеримость работы AI-тренеров
Вам предстоит продумать прозрачную систему верхнеуровневых метрик, понятную для заказчиков и декомпозируемую до целей отдельной команды тренеров.

Счастье пользователей
Вы будете общаться с заказчиками разметок и AI-тренерами, находить узкие места в процессах и делать работу с системой контроля качества более понятной, прозрачной и приятной.

Метрики качества
Вам предстоит разобраться, как устроен контроль качества отдельных разметок, и привести их к единому знаменателю, чтобы обеспечить сравнимость результатов разных команд и справедливость вознаграждения.

Метрики производительности
Система учёта производительности хорошо работает на большом потоке разметок, однако задачи тренеров крайне разнообразны, и задача, как удобно и единообразно оценивать весь спектр, пока не решена.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Уверенно работаете с Python и SQL
• Знаете математическую статистику и теорию вероятностей
• Умеете формализовать и структурировать требования и ожидания заказчиков
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую

Будет плюсом, если вы

• Работали с системами контроля качества
• Работали с BI-инструментами
• Писали инструкции и самостоятельно запускали проекты разметки данных
• Умеете создавать точные и эффективные промпты для генеративных нейросетей