Разработчик инфраструктуры аналитики качества Алисы в Поиске

В Поиске Яндекса есть множество разных тематических блоков — элементов выдачи, которые по-особому решают задачи пользователя. Среди них выделяется Алиса в Поиске, которая представляет собой генеративные ответы, работающие с помощью языковых моделей. Эти модели делают то, что несколько лет назад казалось невозможным.

Следить за качеством генеративных ответов не всегда легко:

• Разные ответы создаются разными командами — у них могут различаться процессы разработки и стиль хранения данных
• Модель, которую разработали ML-инженеры, может отвечать немного иначе, чем та же модель, выпущенная в продакшен Поиска

Мы создаём инфраструктуру, которая решает эти проблемы и позволяет легко изучать качество Алисы в Поиске.

Какие задачи вас ждут

Создание и поддержка инфраструктуры выкатки новых моделей
Чтобы выкатить новую модель, нужно уметь по набору запросов получать ответы Поиска так, как будто она уже выпущена в прод для пользователей. После этого для ответов надо достать нужные данные, а их много, проверить корректность, а проверять много чего, и переложить в нужные форматы для дальнейшего исследования. Мы называем этот процесс приёмкой. Саму приёмку обычно проводят аналитики, поэтому чем лучше наша инфраструктура, тем проще жить аналитикам.

Поддержка инфраструктуры мониторинга новых моделей после выкатки
Новую модель выкатили — теперь хотим следить за тем, чтобы она не начала внезапно работать хуже. Для этого регулярно прокачиваем набор запросов и строим множество графиков — по ним следим за состоянием прода. Приёмка и мониторинг неразрывно связаны: это единая инфраструктура. Доработка мониторинга улучшает приёмку, и наоборот.

**Больше о бэкенде в Яндексе — в канале Yandex for Backend**

Мы ждем, что вы

• Хорошо знаете Python
• Знаете основы SQL

Будет плюсом, если вы

• Обладаете большим кругозором в IT или стремитесь к нему
• Работали с большими данными, например с помощью MapReduce
• Имеете базовое представление об устройстве фронтенда