Руководитель продуктовой аналитики — Customer AI Products

Описание

Customer AI Products — направление пользовательских AI‑продуктов в экосистеме Т‑Банка с аудиторией в десятки миллионов клиентов.

Команда развивает три класса решений:

• AI‑ассистенты — универсальный ассистент как точку входа в AI и специализированные ассистенты для ключевых сценариев;

• Поиск по экосистеме — единый поиск по продуктам и сервисам с пониманием естественного языка;

• AI‑интерфейсы — умная камера, интеллектуальные блоки, саммаризации и голосовые сценарии.

Технологическая база — LLM и агентные системы, мультимодальные модели, RAG и поиск, рекомендательные механики.

Аналитика встроена в продуктовые скводы и работает как самостоятельная функция с мандатом на формирование стандартов: единая методология экспериментов, оценка качества AI (golden sets, LLM‑as‑a‑judge, A/B‑тесты агентных пайплайнов).

Обязанности

• Руководить аналитической функцией направления: управлять лидами аналитики продуктовых групп, развивать команду и стандарты экспертизы
• Определять и поддерживать стандарты методологии A/B‑экспериментов: дизайн, расчёт мощности, требования к валидности и интерпретации результатов
• Формировать методологию оценки качества AI‑продуктов: определять сценарные метрики, проектировать golden sets, калибровать LLM‑as‑a‑judge относительно человеческой разметки и задавать пороги регрессий
• Обеспечивать связь офлайн‑оценок качества с онлайн‑продуктовыми метриками
• Формировать процессы найма и онбординга аналитиков направления
• Определять приоритеты аналитического покрытия продуктовых команд
• Взаимодействовать с платформенной командой A/B и eval: формировать требования и участвовать в развитии инструментов

Требования

• У вас есть опыт построения или трансформации аналитической функции, включая запуск с нуля или перестройку существующей модели
• У вас есть управленческий опыт: вы нанимали и развивали аналитиков или лидов аналитики
• У вас есть опыт внедрения стандартов и методологии в командах без прямого управленческого подчинения
• Знаете методологию экспериментов: дизайн, расчёт мощности, sequential testing, типовые ошибки (peeking, SRM, множественные сравнения), методы причинного вывода и квази‑экспериментальные подходы
• Знаете подходы к оценке качества ML/LLM‑продуктов: сценарные метрики, golden sets, LLM‑as‑a‑judge и его ограничения
• Знаете SQL и используете Python для анализа данных и прототипирования
• Умеете связывать продуктовые метрики с бизнес‑результатом и строить дерево метрик

Мы предлагаем

• Гибридный формат работы
• Возможность работы в аккредитованной ИТ-компании
• ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней
• Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью
• Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи
• Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни
• Компенсацию затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами
• Три дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию
• Специальные тарифы на продукты Т-Банка и широкую программу скидок от партнеров
• Достойную зарплату — обсудим ее на собеседовании