Аналитик данных (СберБизнес)

Описание

Ищем аналитика данных в команду разработки AI Бизнес-помощника внутри интернет-банка для предпринимателей (СберБизнес). Цель нашего Помощника - взять на себя рутинные банковские операции, помочь подобрать сервисы, подходящие конкретному пользователю, подсказать возможные векторы развития его бизнеса на основе предыдущих результатов работы. Взаимодействие пользователя с Помощником происходит через чат, под капотом которого - LLM, RAG, MCP и, конечно, классические прикладные сервисы. Система семантически различает сотни смежных бизнес-сценариев, извлекает критическую информацию и подключает профильные GenAI-инструменты для выполнения операций. Над чем предстоит работать в ближайшее время: * научить систему лучше запоминать и использовать факты о пользователе, чтобы подстраиваться под его особенности и контекст * развивать платформу для агентов, которые действуют на опережение — сами инициируют полезные операции или предупреждают о важных событиях без явного запроса * усиливать безопасность и отказоустойчивость системы * совершенствовать архитектуру, чтобы компоненты и процессы координировались быстрее и точнее.

Обязанности

* разрабатывать и внедрять кастомные метрики оценки ответов агентов: точность, полнота, непротиворечивость (включая LLM-as-a-judge) * проводить структурный анализ ошибок (error analysis): выявлять паттерны галлюцинаций, сбоев логики, деградации качества * планировать и проводить A/B-эксперименты: сравнивать версии промптов, архитектур агентов и модели; интерпретировать результаты * генерировать синтетические датасеты (диалоги, запросы, эталонные ответы) для тестирования и улучшения агентов * искать слабые места в работе агентов, вырабатывать и обосновывать решения по их устранению * формализовывать требования к качеству и передавать метрики в команду глобального мониторинга платформы * готовить аналитические отчёты и презентовать команде выводы: не просто цифры, а конкретные рекомендации * работать с ad-hoc запросами: оперативно доставать данные, проверять гипотезы, разбирать инциденты.

Требования

* знание математической статистики, теории вероятностей и дизайна экспериментов (A/B-тесты, статзначимость) * опыт работы аналитиком данных - от 3 лет * умение писать сложные SQL запросы * работа на Python для анализа и визуализации данных (pandas, numpy, scipy, matplotlib) * опыт проведения исследований: проверка гипотез, оценка результатов, формулировка actionable-выводов * понимание устройства мультиагентных систем или сложных LLM-пайплайнов (оркестрация, цепочки вызовов, RAG).

Условия

* комфортный современный офис рядом с м. Кутузовская * гибридный формат работы (2 дня в неделю - работаем из дома) * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * система обучения для профессионального и карьерного развития * расширенный полис ДМС с первого дня работы и страхование для семьи * программа ипотеки для сотрудников * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.