Лид ML-аналитики в Нейросервисы

Мы строим AI-сервисы для бизнеса на базе технологий Яндекса. Среди наших продуктов — Нейроюрист, Алиса Про и Нейросаппорт. Параллельно мы активно развиваем новые направления Нейросейлз и Нейробухгалтер и проверяем новые гипотезы. Все сервисы создаются на общих бэкенд- и фронтенд-компонентах и активно используют LLM-технологии.

Ищем лида ML-аналитики, который поможет выстроить сильную функцию аналитики качества AI-сервисов: от процессов и метрик до команды и платформенных решений. В этой роли важно не только управлять людьми и приоритетами, но и глубоко понимать, как измерять качество LLM-систем, быстро валидировать изменения и помогать командам принимать решения на основе данных.

Какие задачи вас ждут

Развитие аналитики качества LLM
Основная часть работы будет связана с качеством AI-продуктов и ML-систем. Вам предстоит вместе с командами искать способы измерять качество моделей и AI-сценариев, строить систему метрик, улучшать процессы оценки и помогать командам быстрее и безопаснее запускать изменения. У нас много неоднозначных задач: как оценивать качество генераций, как измерять полезность AI-фич для бизнеса, как автоматизировать проверку качества и как быстро понимать, стало лучше или хуже после очередного изменения модели или промптов.

Построение процессов ML-аналитики
Нужно будет выстроить понятные процессы вокруг оценки качества: от ручной разметки и продуктовых исследований до LLM-as-a-judge и автоматических проверок. Мы хотим, чтобы аналитика качества стала полноценной частью платформы Нейросервисов.

Работа с несколькими сервисами одновременно
Вам предстоит помогать сразу нескольким AI-продуктам и новым гипотезам: Нейроюристу, Алисе Про, Нейросаппорту, Нейросейлзу и другим направлениям. Нужно будет уметь быстро переключаться между задачами, видеть общие паттерны и переносить лучшие практики между командами.

Управление командой и её развитие
Вы будете нанимать и развивать ML-аналитиков, помогать им расти и формировать сильную инженерно-продуктовую культуру вокруг аналитики качества AI.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждем, что вы

• Руководили аналитиками, ML-аналитиками или quality-направлениями
• Работали с офлайн- и онлайн-оценкой качества моделей
• Хорошо понимаете специфику ML- и LLM-продуктов
• Умеете строить метрики качества для AI-систем
• Понимаете ограничения классических продуктовых метрик для генеративных моделей
• Уверенно владеете SQL и Python
• Можете самостоятельно проводить исследования и разбираться в сложных неоднозначных задачах
• Знаете, как устроены процессы разметки, evals и проверки качества моделей
• Умеете выстраивать процессы и эффективно работать с большим количеством стейкхолдеров
• Любите нанимать и развивать сильных людей

Будет плюсом, если вы

• Работали с LLM-as-a-judge, synthetic data или автоматическими evals
• Строили ML-метрики или платформы оценки качества
• Умеете работать с AI-ассистентами, RAG-системами или агентами
• Понимаете специфику B2B- и enterprise-AI-продуктов
• Имеете опыт работы в быстрорастущих AI-командах или стартапах
• Разбираетесь в продуктовой аналитике и отстраивали соответствующие процессы