Разработчик в службу офлайн-разметки Поиска

Работа нашего подразделения очень важна для Яндекс Поиска, именно центральной его части — поисковой строки с Алисой.

Одна из основополагающих частей любого машинного обучения — датасеты. Мы отвечаем за скорость и качество их сбора. От этого зависит частота релизов, которые напрямую влияют на пользователей Поиска. Наша команда работает с быстро развивающимися продуктами на стыке ML и краудсорсинга.

Какие задачи вас ждут

Разработка инструментов для сравнения с конкурентами
Мы постоянно анализируем качество Поиска относительно других систем. Вам предстоит разрабатывать инструменты и методологии для сравнения наших решений с решениями конкурентов. Это включает создание пайплайнов парсинга и сбора данных, разработку метрик и визуализацию результатов. Анализ помогает определить, какие улучшения действительно работают, выявить проблемные места и затем сфокусироваться на них.

Архитектура разметки
Наша команда активно участвует в запуске разметок. Со временем пайплайн разметки становится всё сложнее. На это влияет и развитие генеративных моделей, и постоянная потребность в более качественных датасетах для улучшения Поиска и реализации международных инициатив. Вам предстоит участвовать в создании новой разметки и развитии существующих пайплайнов. Например, заменять часть асессорских оценок на модельные или добавлять подсказку для упрощения задания.

Разработка хранилища оценок
Собрать корректные датасеты — важная задача для машинного обучения. Данные могут собираться как генеративными моделями, так и людьми. Кроме того, есть большое количество параметров, которые влияют на итоговый пайплайн. Нужно разработать единое хранилище, которое позволит смежным командам получать кастомизируемое множество оценок.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждем, что вы

• Хорошо знаете Python
• Владеете SQL

Будет плюсом, если вы

• Работали с краудсорсингом, собирали датасеты
• Сталкивались с технологиями обработки больших данных
• Знакомы с парадигмой REST API
• Знаете фреймворки для Python: FastAPI, Flask