Аналитик по качеству рекомендаций агентных систем

Описание

Команда отвечает за повышение качества персонализированных рекомендаций для развития корпоративных клиентов. Ищем эксперта, умеющего выявлять недостатки в ответах агентов, видеть закономерности и переводить бизнес-спефифику в четкие правила работы. Важны аналитика качества и бизнес-понимание, техническая база (LLM/Python) — плюс.

Обязанности

* качество и разбор кейсов. Выявлять дефекты ответов (логика, арифметика, сопоставимость периодов, структурные ошибки JSON, неверный выбор инструмента), группировать их в паттерны причин, формировать гипотезы улучшений. * правила и стандарты. Определять формат межагентных сообщений, политику «когда считаем в модели/через инструмент/в Python», описывать «как выглядит хороший ответ» для разных зон внимания и отраслей, формулировать критерии приёмки. * эксперименты. Планировать и проводить эксперименты «до/после» (промпты, параметры, инструменты), фиксировать эффект по качеству, стоимости и задержке. * взаимодействие. Работать в связке с Python-разработчиками и промт-инженерами: постановка задач, проверка результатов, упаковка решений «в пакет на внедрение».

Требования

* опыт анализа данных (Middle+): формулировка гипотез, подбор метрик, построение расчетов, сравнение периодов, фиксация выводов * знание бизнес-аналитики: финансы, структура затрат, экономика продукта, цепочка создания стоимости * Python (Jupyter, pandas, numpy, scipy, scikit-learn, matplotlib/plotly) * базовое понимание LLM: промпты, JSON/schema, function calling, параметры инференса Будет плюсом:  * опыт с GigaChat SDK, LangGraph, LangChain, LlamaIndex * навыки работы с pydantic, jsonschema, jinja2, httpx/aiohttp, asyncio * знание инструментов RAG, KAG, MCP; опыт реализации проектов с заметными улучшениями.

Условия

* комфортный современный офис рядом с м. Кутузовская * корпоративный спортзал и зоны отдыха * программа адаптации и помощь руководителя на старте * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * ипотека выгоднее до 4% для каждого сотрудника * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера