Аналитик-разработчик в Нейро

Мы развиваем Нейро — систему моделей для построения ответов LLM с использованием поиска как источника информации и обогащений ответа. Мы внедрили такую систему в Поиск Яндекса и сейчас хотим научиться решать сложные сценарии. Например, вот такой запрос: «составь план путешествия, чтобы увидеть косаток летом». Чтобы построить хороший ответ на него, нужны многостадийный поиск, использование картинок и данных от отелей, хорошая структура и высокая достоверность. Всё это мы должны учесть в нашей работе.

Почему у нас классно:

• Мы работаем с Нейро — новым продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене
  
• Мы даём сотрудникам возможность развивать как технические, так и коммуникативные и менеджерские навыки
  
• Ваша работа прямо повлияет на то, каким станет Нейро через полгода
  
• Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты
  
• Наша сплочённая команда аналитиков и ML-инженеров качества Поиска постоянно обсуждает задачи и обменивается опытом

Если вы знаете аналитику, хорошо пишете код и делаете точные выводы на основе данных — приходите вместе с нами строить Поиск будущего!

Больше о команде:
Наша группа — опытная и дружная команда. Мы недавно подключились к задачам Нейро, поэтому у вас будет отличная возможность вместе с нами изучать и осваивать новые задачи без лишнего давления. У нас ценится желание учиться и ответственность, а поддержка команды поможет вам быстро войти в работу и развиваться. Наша область ответственности — всё, что связано с различными аспектами качества источников, по которым формируется ответ Нейро. Источники — это не только веб-документы, но и все виды обогащений: картинки, видео, карточные данные, товарные объекты и другое. Благодаря такому широкому спектру задач каждый сможет найти задачу по душе и развиваться в интересном для себя направлении.

Какие задачи вас ждут

Разметка полезности источников
Для построения хорошего ответа на запрос пользователя требуется выбрать правильные источники и извлечь из них полезную информацию. Нам предстоит построить систему контроля качества разметки, вырастить это качество, ускорить сам процесс и упорядочить другие связанные с этим процессы, чтобы сделать работу максимально эффективной и прозрачной для коллег.

Оценка вставки обогащений
Наша задача — точно определять, какой тип обогащений нужен в каждом конкретном диалоге, и измерять качество их использования. Это позволит обеспечить максимальную релевантность и полезность ответа.

Оценка экспертности источников и ответов
Мы хотим, чтобы ответ Нейро был не только правдивым, полным и понятным, но ещё и экспертным. Для этого мы разрабатываем методы оценки важности экспертной составляющей ответа по диалогу и учимся замерять общую экспертность ответа.

Мы ждем, что вы

• Уверенно работаете с Python и SQL
• Знаете математическую статистику и теорию вероятностей
• Умеете формализировать и структурировать требования и ожидания заказчиков
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Умеете общаться в команде, ясно излагать мысли, понимать и убеждать коллег

Будет плюсом, если вы

• Писали инструкции и самостоятельно запускали проекты разметки данных
• Работали с машинным обучением и нейронными сетями
• Умеете создавать точные и эффективные промты для генеративных нейросетей