Разработчик бэкенда разметки в команду Нейро

С помощью краудсорсинга и запросов к LLM наша команда собирает данные для обучения генеративных нейросетей Яндекса. Сложность используемой разметки такова, что существующие генеративные модели всё ещё неспособны превзойти людей. Но несмотря на это, мы успешно комбинируем ответы LLM и разметку людьми и за счёт такого совместного использования добиваемся всё лучшего качества данных, а значит, улучшаем ответы в Поиске.

Какие задачи вас ждут

Разработка разметки для краудсорсинга
Разметка людьми на собственной крауд-платформе Яндекса — наш главный инструмент сбора данных для обучения и оценки качества генеративных моделей. Люди оценивают ответы генеративных моделей для того, чтобы улучшать сами модели. При этом структура и содержимое ответов регулярно меняются — и не всегда предсказуемым образом. Одной из ваших задач будет разработка системы разметки ответов, куда входят доставка данных до крауд-платформы, внедрение инструментов, которые улучшают скорость и качество разметки, онбординг новых типов разметки.

Внедрение промптов к LLM
Параллельно с традиционной ручной разметкой ответов мы набираем датасеты и подходим к генеративным моделям с тщательно подобранными промптами. На многих подзадачах такой подход обеспечивает лучшее или как минимум сравнимое с человеческим качество, чем мы и пользуемся: ускоряем и удешевляем сбор данных. Вы будете обеспечивать процессы сбора: поднимать инсталляции новых моделей и оптимизировать использование существующих.

Мы ждем, что вы

• Хорошо знаете Python

Будет плюсом, если вы

• Способны разобраться в коде на С++
• Знакомы с веб-программированием
• Работали с краудсорсингом, собирали датасеты
• Имеете представление об обучении генеративных нейросетей
• На базовом уровне знаете математическую статистику

Наличие даже одного пункта выше — нормально: мы не ожидаем, что вы знаете всё это.