Аналитик-разработчик в команду аналитики качества Нейро

Мы работаем над Нейро — системой в Алисе и Поиске, которая умеет обращаться в разные сервисы Яндекса для составления ответов с опорой на источники.

Одна из задач нашей службы — научить Нейро решать сложные пользовательские сценарии и отвечать на трудные запросы, которые требуют применения таких навыков, как общая умность, работа с достоверностью, умение несколько раз обращаться к Поиску (в том числе последовательно) и других.

Решение этой задачи напрямую зависит от сбора качественных датасетов, на которых будет проводиться обучение LLM, работающих под капотом Нейро. Ключевое значение имеют датасеты запросов пользователей. Речь идёт о примерах запросов, на которых происходит развитие технологий внутри Нейро, проверка качества получаемых ответов и исследование того, в каком направлении должен развиваться продукт.

Важно, чтобы датасеты запросов имели хорошую полноту покрытия реальных пользовательских сценариев, а также содержали в себе трудные для технологии примеры. Именно это позволяет Нейро последовательно улучшаться к каждому новому релизу.

Почему у нас классно:

• Мы работаем с Нейро — новым продуктом Яндекса на основе LLM — и ориентированы на результат в продакшене
• Мы даём сотрудникам возможность развивать как технические, так и коммуникативные и менеджерские навыки
• Ваша работа прямо повлияет на то, каким станет Нейро через полгода
• Мы решаем задачи, для которых почти никогда нет готового решения: задачи имеют как сложную техническую, так и творческую составляющую — research & development
• Наша сплочённая команда аналитиков и ML-инженеров качества Поиска регулярно обсуждает задачи и обменивается опытом

Какие задачи вас ждут

Сбор датасетов запросов
Для развития ключевых навыков технологии Нейро нужны примеры челленджовых запросов — таких, на которые трудно дать хороший ответ без изучения предметной области. Вам предстоит проводить исследования, на каких запросах и пользовательских сценариях нужно продолжить развитие технологии Нейро, и воплотить результаты своей работы в реальных датасетах, которые пойдут в обучение моделей.

Работа с разнообразными источниками данных
Источников, из которых можно брать примеры запросов, в Яндексе и в открытом доступе существует много. Они различаются как по формату, так и по качеству данных внутри. Вам предстоит погрузиться в специфику этих источников и придумать способы, как выделить из них самые интересные и полезные примеры для улучшения Нейро.

Использование LLM для сбора датасетов запросов
При создании содержательных датасетов запросов часто нужно прибегать к нетривиальной характеризации пользовательских задач: насколько запрос сложный, требует ли он специальных навыков и т. д. Иногда и вовсе приходится создавать интересные запросы синтетически, то есть искусственно. Для решения этих задач вы будете активно работать с передовыми LLM, составляя к ним промпты и даже системы промптов.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Уверенно работаете с SQL и Python
• Понимаете, почему важно всегда смотреть в данные
• Знаете математическую статистику и теорию вероятностей
• Умеете формализировать и структурировать требования и ожидания заказчиков
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Умеете общаться в команде, ясно излагать мысли, понимать и убеждать коллег

Будет плюсом, если вы

• Интересуетесь продуктом, стремитесь понять, каким он должен быть и почему
• Умеете создавать точные и эффективные промпты для генеративных нейросетей
• Интересуетесь передовыми подходами в области LLM и умеете читать тематические статьи на английском языке