ML-разработчик в команду объектного ответа

Поиск с Алисой — одно из крупнейших обновлений Поиска Яндекса. Новый сервис объединяет технологии Поиска и генеративных нейросетей и позволяет давать ёмкие ответы на вопросы пользователя. Мы стремимся с помощью Алисы сделать генеративный Поиск будущего, который выдержит конкуренцию по качеству с ведущими мировыми компаниями, и ищем людей, которые помогут нам в этом.

Наша команда занимается интеграцией генеративных ответов Алисы в Поиск, определением, в каких случаях нужно их показывать, решением конфликтов между разными типами ответов. Для этого мы обучаем различные ML-модели, в том числе классические и DL. А также программируем на C++ в высоконагруженных сервисах и на Python для обработки данных.

У нас вы сможете создавать продукты на базе современного NLP в сервисе, которым пользуются десятки миллионов человек.

Какие задачи вас ждут

Делать классификаторы поисковых запросов
Обычно мы с применением LLM делаем разметку датасетов. Далее дистиллируем её в более простые быстрые модели, которые можно запускать в продакшене. Такие классификаторы определяют продуктовое видение, на каких запросах должны срабатывать разные генеративные ответы.

Улучшать BERT-модель определения релевантности ответа
Модель определяет четыре градации релевантности, сравнивая поисковую выдачу и содержимое генеративного ответа. Недавно мы перешли на автоматическую LLM-разметку датасетов для этой модели. Собираемся заняться улучшением качества разметки учителя, процесса обучения, настроить регулярную процедуру обновления.

Улучшать модель замешивания нейроответов
Модель представляет из себя градиентный бустинг на множестве фич разного типа (эмбеддингах, статистиках). По накопленным данным предсказывает, насколько полезен данный тип ответа на этом запросе. Нужно заниматься поддержкой и развитием этой модели.

Ставить и контролировать А/В-эксперименты
Все изменения перед выкаткой в продакшн проходят тщательную проверку. Для этого в том числе мы ставим онлайн-эксперименты, следим за их проведением, оцениваем итоговое изменение в метриках, согласуем выкатку.

Мы ждем, что вы

• Хорошо понимаете классический ML, имеете представление о современном DL в NLP и хотите развиваться в этом направлении
• Имеете опыт и хотите не только строить модели, но и внедрять их в продакшн, писать код (C++, Python)
• Понимаете общие принципы А/В-тестирования
• Любите командную работу, готовы напрямую общаться со смежниками: аналитиками, продактами, командой инфраструктуры