ML-аналитик чат-ботов в Yandex Crowd

Мы работаем с самыми масштабными и технологичными продуктами экосистемы Яндекса: Алисой AI, Яндекс Путешествиями, Бизнесом, Яндекс ID, Браузером и другими сервисами, которыми каждый день пользуются миллионы людей.

Для продуктов Яндекса мы создаём лучшую и самую технологичную службу поддержки, которая быстро помогает пользователям, понимает контекст обращения, отвечает точно и сохраняет высокий уровень качества даже при большом масштабе. Наша команда помогает поддержке сервисов Яндекса становиться умнее, быстрее и удобнее для пользователей.

Главный фокус команды сейчас — в том, чтобы увеличивать автоматизацию без потери качества. Для этого мы внедряем GenAI-решения в работу ботов, развиваем RAG-подходы и агентные сценарии, тестируем современные технологии, следим за трендами индустрии и применяем на практике решения, которые напрямую влияют на пользовательский опыт в крупных продуктах Яндекса.

Мы ищем дата-аналитика, который поможет создавать и развивать умный AI в службе поддержки: анализировать реальные пользовательские сценарии, находить ошибки модели, строить систему оценки качества, собирать данные для обучения и принятия новых решений.

Какие задачи вас ждут

Построение системы оценки качества AI-ассистента
Вместе с командой вы станете развивать систему оценки качества: офлайн- и онлайн-метрики, LLM-as-a-Judge, A/B-эксперименты, мониторинг деградаций, аналитические дашборды и т. п.

Анализ качества работы LLM и поиск точек роста
Вам предстоит глубоко разбираться в качестве работы модели: анализировать пользовательские сценарии и проблемные кейсы, сегментировать ошибки и DSAT, искать закономерности через data mining. Затем — формировать гипотезы, как повысить качество, и оценивать влияние изменений на пользовательский опыт. Вы поможете команде понять, где модель ошибается, почему это происходит и какие улучшения дадут максимальный эффект.

Сбор данных для обучения и приёмки моделей
Вы будете работать с данными на всём цикле улучшения модели: находить реальные пользовательские кейсы в логах, собирать датасеты для обучения и тестирования, анализировать качество разметки.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Работали от двух лет в роли Data Analyst / Product Analyst / Analyst в data-driven-продукте
• Уверенно владеете SQL и Python для анализа данных
• Умеете работать с большими объёмами логов и событийных данных
• Понимаете основы статистики и A/B-тестирования
• Умеете формулировать продуктовые гипотезы и оценивать их эффект
• Обладаете системным мышлением

Будет плюсом, если вы

• Работали с LLM, RAG или агентами
• Умеете строить дашборды: Tableau, DataLens, Superset и др.
• Понимаете, как устроен цикл обучения и улучшения ML/LLM-моделей