Лид аналитики офлайн-метрик в Яндекс Картинки

Основная метрика качества ранжирования картинок строится на основе оценок асессоров по отдельным сигналам: релевантности картинки, качеству и релевантности её источника и т. д. Она задаёт таргет для поисковых алгоритмов ранжирования картинок по запросу в сервис Картинок. Хорошее картиночное ранжирование требуется как при поиске по картинкам, так и для обогащения поисковой выдачи и Алисы.

Мы постоянно улучшаем ключевые метрики Поиска, и перед командой стоит множество вызовов: улучшить релевантность на сложных поисковых срезах, научиться замерять и вырастить разнообразие, актуальность и специализированность выдачи.

Вам предстоит руководить командой аналитиков-разработчиков в роли «играющего тренера»: 50% — руководство командой и менеджерские задачи, 50% — решение прикладных задач.

Какие задачи вас ждут

Улучшение офлайн-метрик
Вам предстоит разбираться с устройством офлайн-метрики и помогать улучшать её качество по всему пайплайну: от асессорских оценок отдельных сигналов до итоговой формы метрики. Вы будете исследовать, формулировать и оцифровывать точки роста в метрике и итоговом ранжировании, придумывать и реализовывать способы её улучшения.

Автоматизация
Вы будете исследовать и интегрировать LLM, VLM и другие модели, чтобы автоматизировать процесс разметки данных, который традиционно выполняется асессорами. Это новая область: необходимо будет придумывать способы корректно внедрять и оценивать качество сигналов при использовании моделей, искать оптимальные конфигурации и реализовывать их, тем самым снижать стоимость разметки, а также повышать её качество и эффективность.

Оценка качества метрики и её изменений
Вместе с командой Картинок вы будете искать ответы на вопросы: как правильно замерять улучшения в метрике или её отдельных компонентах и как оценить, насколько текущая метрика далека от идеала?

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Анализировали данные на Python или SQL
• Уверенно владеете теорией вероятностей и математической статистикой
• Умеете решать нестандартные математические задачи
• Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую

Будет плюсом, если вы

• Имеете опыт руководства или менторства в аналитике
• Любите математику
• Участвовали и побеждали в олимпиадах по математике, физике или программированию
• Читаете и понимаете профильные тексты на английском языке
• Владеете знаниями в области машинного обучения, внедряли модели