Аналитик-разработчик в бригаду офлайн-инфраструктуры Нейро

Чтобы улучшать наши большие языковые модели, нужно изучать, как люди ими пользуются. Пользовательские привычки постоянно меняются: с развитием моделей люди начинают задавать более сложные запросы, при этом на простых запросах модели не должны становиться хуже. Наша цель — лучший AI-ассистент на рынке, ежедневно помогающий миллионам пользователей.

Мы ищем аналитика-разработчика, который поможет нам следить за качеством данных, выявлять тенденции использования LLM и сравнивать наши модели с моделями конкурентов. Мы хотим знать, какие задачи пользователи решают с помощью моделей и насколько хорошо у них это получается. Видов задач очень много, и у всех есть свои нюансы, в которых нужно детально разбираться.

Почему у нас классно:

Мы работаем с Алисой AI — новым продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене. Мы даём сотрудникам возможность развивать как технические, так и коммуникативные и менеджерские навыки. Ваша работа напрямую повлияет на то, какими будут AI-продукты Яндекса через полгода.

Какие задачи вас ждут

Исследование качества данных
У нас есть много данных, но иногда с ними могут быть проблемы технического характера — мы хотим делать мониторинги, чтобы оперативно замечать поломки и доносить их ответственным командам.

Отслеживание пользовательских привычек
Каждый релиз продукта влияет на пользователей: они видят, какие из их задач решаются лучше, приходят с такими задачами чаще и иногда пытаются сделать что-то новое. Мы хотим отслеживать, как продукт влияет на привычки пользователей. Для этого мы обогащаем данные разными способами — от ручной разметки до применения других LLM для оценки запроса-ответа.

Развитие процессов и инструментов
Важная часть роли — находить возможности для автоматизации, делать процессы более масштабируемыми и создавать инструменты, которые позволят делать задачи проще.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Уверенно работаете с Python и SQL
• Умеете формализовать и структурировать требования и ожидания заказчиков
• Знаете основы математической статистики и теории вероятностей
• Умеете общаться в команде, ясно излагать мысли, понимать и убеждать коллег

Будет плюсом, если вы

• Настраивали регулярные аналитические процессы — графики, мониторинги
• Знакомы с устройством современного фронтенда, не боитесь HTML, JavaScript, CSS