Аналитик-разработчик в команду качества генеративных моделей

Мы развиваем Нейро — систему моделей для построения ответов LLM с использованием поиска как источника информации и обогащений ответа. Мы внедрили такую систему в Поиск Яндекса и Алису и сейчас хотим научиться качественно отвечать на сложные запросы, требующие специализированных знаний.

Например: пользователь задаёт вопрос, связанный с его здоровьем. Чтобы сформировать корректный и полезный ответ, нужно глубокое понимание предметной области «медицина». А подобных запросов — сотни тысяч, и они охватывают самые разные темы.

Ищем аналитика-разработчика, который поможет нам совершенствовать наши модели.

Почему у нас классно

• Мы работаем с Нейро — новым продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене
• У нас вы сможете развить как технические, так и коммуникативные и менеджерские навыки
• Ваша работа прямо повлияет на то, каким станет Нейро через полгода
• Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты
• В нашей профессиональной и дружной команде аналитиков и ML-инженеров качества Поиска мы постоянно обсуждаем задачи и обмениваемся опытом

Какие задачи вас ждут

Разметка экспертности
Мы нанимаем специалистов, которые помогут оценивать, насколько авторитетен и профессионален какой-либо сайт в интернете или отдельно взятый текст. Наша цель — создать систему разметки, в которой эксперты смогут формулировать свои оценки и вердикты об уровне экспертности контента, а затем интегрировать эти данные в существующие процессы.

Метрики экспертности
Чтобы понимать, действительно ли наши модели становятся умнее, нам нужны новые метрики. Мы будем придумывать способы точно определять, насколько улучшаются ответы на сложные и специализированные запросы, а ещё — замерять наше качество относительно конкурентов.

Разработка инфраструктуры
Для решения многих задач необходимо создавать процессы, которые упрощают рутинную работу и ускоряют разметку. Вам предстоит разобраться в существующей инфраструктуре и разработать новые инструменты и пайплайны, которые сделают процесс эффективнее.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Уверенно работаете с Python и SQL
• Знаете математическую статистику и теорию вероятностей
• Умеете формализовать и структурировать требования и ожидания заказчиков
• Самостоятельны и не боитесь браться за новые задачи, для которых нет готового решения
• Умеете общаться в команде, ясно излагать мысли, понимать и убеждать коллег

Будет плюсом, если вы

• Писали инструкции и самостоятельно запускали проекты разметки данных
• Работали с машинным обучением и нейронными сетями
• Умеете создавать точные и эффективные промпты для генеративных нейросетей