Разработчик в службу офлайн-разметки Поиска

Наше подразделение крайне важно для Поиска, именно центральной его части — поисковой строки с Алисой.

Одной из основополагающих частей любого машинного обучения являются датасеты. Мы отвечаем за скорость и качество сбора этих датасетов. От этого зависит частота релизов, которые напрямую влияют на пользователей Поиска. Наша команда работает с быстроразвивающимися продуктами на стыке ML и краудсорсинга.

Какие задачи вас ждут

Разработка хранилища оценок
Собрать корректные датасеты — важная задача для машинного обучения. Данные могут быть собраны как на генеративных моделях, так и с помощью людей. Кроме того, существует большое количество параметров, которые влияют на итоговый пайплайн получения оценки. Задача заключается в разработке единого хранилища оценок, которое позволит смежным командам получать кастомизируемое множество оценок.

Разработка инструментов распределения проектов
В Поиске существует большое количество сетов разметки для сбора данных. Исполнители на различной разметке могут пересекаться между собой, что значительно усложняет задачу распределения заданий с учётом SLA проектов. Вы будете разрабатывать инструмент, который позволит управлять приоритетами групп исполнителей на разметке в зависимости от текущих потребностей. А также настраивать мониторинг и строить дашборды, на которых будет видно, что система работает корректно.

Архитектура разметки
Наша команда активно участвует в запуске разметки. Со временем пайплайн разметки становится всё сложнее. На это влияет как развитие генеративных моделей, так и постоянная потребность в получении более качественных датасетов для дальнейшего улучшения Поиска и для реализации международных инициатив Поиска. Предстоит участвовать в создании новой разметки и развитии существующих пайплайнов.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждем, что вы

• Хорошо знаете Python
• Знаете SQL

Будет плюсом, если вы

• Работали с краудсорсингом, собирали датасеты
• Знакомы с парадигмой REST API
• Сталкивались с технологиями обработки больших данных
• Знаете фреймворки для Python: Flask, Django