ML-разработчик в команду поиска источников для Нейро в Алису

Наша команда поиска источников с помощью современных LLM отвечает за поиск наиболее релевантных документов — из веба, картинок, видео и других источников. На основе найденных документов Алиса строит качественные и содержательные ответы для миллионов пользователей. Это ключевая часть технологии Нейро в Алисе: от того, как мы находим и обрабатываем информацию, напрямую зависит интеллектуальность и полезность ответов.

Пользователь приходит к нам с длинными и сложными запросами. С помощью LLM мы разбиваем задачу на подзадачи и для каждой находим подходящие документы в интернете. Это позволяет найти всю информацию по исходному запросу, полно и полезно на него ответить. Также мы решаем задачу глубокого поиска, когда за одну итерацию получить нужный результат невозможно. Чем лучше мы будем находить и структурировать документы для языковых моделей, тем точнее и осмысленнее будут ответы для пользователя.

Мы используем LLM, которые решают, в каких источниках искать данные (веб, картинки и др.) и какие запросы в них задавать. Также мы применяем LLM для анализа найденных данных: чтобы понять, что уже получено, чего не хватает, и принять решение о продолжении поиска.

Работая в нашей команде, вы сможете прокачаться сразу в нескольких направлениях: аналитике, программировании и машинном обучении. Мы фокусируемся не на абстрактных исследованиях, а на практических задачах и запуске решений прямо в продукт — ваши разработки будут быстро превращаться в часть одной из ключевых технологий Яндекса. Здесь вы сможете реализовать свои идеи, увидеть их работу в масштабе миллионов пользователей и напрямую влиять на развитие современных цифровых ассистентов.

Какие задачи вас ждут

Проектирование и запуск архитектуры
Вы будете проектировать новые решения: определять форматы взаимодействия с поисковыми API, формировать данные для LLM, подбирать гиперпараметры. Также вы сможете реализовывать свои решения: от прототипа до промышленного отказоустойчивого сервиса для миллионов пользователей.

Инжиниринг промтов для LLM
Вам предстоит разрабатывать и тестировать промты для YandexGPT и других LLM, чтобы оптимизировать генерацию запросов и поиск релевантной информации.

Разработка метрик и контроль качества
Вам нужно будет создавать метрики для объективной оценки качества найденной информации и вклада каждого источника, собирать подходящие запросы (как настоящие — из логов, так и синтетическую выборку), подбирать и считать метрики при помощи разных подходов: от регулярок до краудсорсинга через промты.

Мы ждем, что вы

• Знаете Python
• Хорошо разбираетесь в классическом ML
• Любите работать с данными

Будет плюсом, если вы

• Работали с C++ и SQL
• Обладаете навыками взаимодействия с LLM или другими нейросетями (или готовы активно учиться работе с этими технологиями)
• Самостоятельны, проактивны и готовы брать на себя задачи, для которых ещё не существует стандартных решений