Prompt Engineer (Agentic AI)

Описание

Мы автоматизируем банковское сопровождение контрактов юридических лиц: контролируем целевое расходование средств по инвестиционным проектам. Сейчас переводим ручные проверки платежей на AI-агентов: они классифицируют документы, анализируют условия контрактов и принимают решения о проведении платежа.

Обязанности

### Чем предстоит делать: * Проектированием, разработкой и оптимизацией промптов для сложных LLM-агентов, способных к планированию, использованию внешних инструментов (_tool calling_) и работе с памятью * Созданием сценариев взаимодействия между несколькими агентами (_Multi-Agent Systems_) * Разработкой систем оценки качества ответов агентов: создание тестовых наборов данных (_evals/harness_), метрик точности, полноты, галлюцинаций и успешности выполнения задач * Проведением экспериментов по выбору моделей, тонкой настройкой температуры и других гиперпараметров под конкретные бизнес-задачи * Обеспечением безопасности: проектирование защитных промпт-систем (отказоустойчивость к инъекциям, jailbreaks) и фильтрация нежелательного вывода.

Требования

### Мы ожидаем, что ты имеешь: * опыт аналогичной роли от 2 лет * опыт написания кода на Python: автоматизация экспериментов, работа с API LLM, создание оценочных скриптов и интеграция с внешними инструментами * понимание принципов LLM и промпт-инжиниринга: знание техник Few-shot, Chain-of-Thought, ReAct, Self-Reflection, умение работать с контекстными окнами и системными сообщениями * практика построения метрик и eval-пайплайнов: создание тестовых датасетов для оценки, выбор метрик (точность, полнота, F1, BLEU, оценка галлюцинаций) и автоматизация процесса тестирования * навыки проведения экспериментов: сравнение моделей (GPT-4, Claude, Gemini, open-source LLM), варьирование гиперпараметров, анализ статистической значимости, визуализация результатов * понимание безопасности LLM: векторы атак (prompt injection, jailbreaking), методы защиты (системные промпты-защитники, валидация вывода, песочницы), фильтрация нежелательного контента. ### Будет плюсом: * понимание работы агентных фреймворков: LangChain, LangGraph, CrewAI, AutoGen или аналогов * понимание RAG и принципов индексации.

Условия

### Работа в Сбере – это: * гибридный график * современный офис на Кутузовском пр-кте, 32 с собственным паркингом, столовой, кафетериями, зонами отдыха и спортзалом * ежегодный пересмотр зарплаты и годовая премия * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * программа адаптации и помощь наставника на старте * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * льготная ипотека и кредитование от Сбера * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.