Разработчик С++ генеративного ответа в Поиск (Нейро)

Наша команда разрабатывает инфраструктуру вокруг вычисления генеративных сетей. Мы занимаемся реализацией и поддержкой бизнес-логики генеративного ответа в Поиске Яндекса. Поиск с Алисой даёт подробные ответы с иллюстрациями и видео, анализирует сложные запросы и предлагает решения, генерирует картинки и тексты. Работу всех этих сценариев генеративного ответа обеспечивает наша команда.

Различные команды внутри Яндекса используют нашу инфраструктуру, чтобы создавать новые сценарии генеративного ответа, проводить эксперименты с новыми моделями и дорабатывать существующие пайплайны.

В задачи команды входят:

• Разработка сервера инференса (не занимаемся GPU-вычислениями внутри, только бизнес-логикой)
• Организация релизных процессов для доставки сервера в прод
• Создание архитектуры для поддержки большого количества пайплайнов и роутинг между ними
• Интеграция с сервисами внутри Яндекса для улучшения пользовательского опыта

Какие задачи вас ждут

Разработка сервера инференса
У нас есть внутрияндексовая библиотека, которая занимается расчётами генеративных моделей. Вам нужно будет разрабатывать/дорабатывать сервер вокруг этой библиотеки, который должен отвечать самым разным запросам клиентов: препроцессингу, gRPC, WebSocket, отправке данных во внешнее хранилище, батчингу.

Организация релизных процессов для доставки сервера в прод
Внутри Яндекса уже насчитывается около 200 инсталляций для разных продуктов. При таких масштабах и разнообразных пожеланиях вам предстоит организовывать горизонтально масштабируемые процессы выкаток. В том числе no-diff-тестирование всех доступных ручек для каждого из клиентов, непосредственно выкатку и менеджмент трафика в момент выкатки.

Создание архитектуры для поддержки большого количества пайплайнов
Наша система включает множество пайплайнов для генерации ответов: креативные сценарии, подробные ответы, генеративные ответы для других стран. Ваша задача — проектировать и совершенствовать архитектуру системы, чтобы обеспечивать надёжную работу существующих пайплайнов и эффективный роутинг между ними (выбор релевантного пайплайна для запроса). Также вам предстоит разрабатывать новые пайплайны для реализации будущих сценариев.

Интеграция с сервисами внутри Яндекса для улучшения пользовательского опыта
Вам предстоит интегрировать различные сервисы Яндекса в наши пайплайны для повышения качества ответа (обработка пользовательского запроса, подбор наиболее релевантных документов и др.), а также дорабатывать основной бэкенд генеративного ответа, чтобы предоставлять пользователям дополнительные возможности для работы с данными своих запросов.

Мы ждем, что вы

• Разбираетесь в базовых алгоритмах и структурах данных
• Хорошо знаете С++
• Знакомы с паттернами и идиомами построения программного обеспечения
• Умеете писать надёжный и читабельный многопоточный код