QA (Auto Python)

Описание

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Ждем именно тебя! Мы – команда ИИ-сценариев и комплексных решений — создаем с «нуля» комплекс решений для применения AI агентов во всех процессах взаимодействия с клиентом. Задача команды — спроектировать, разработать и внедрить AI агенты в различные бизнес-процессы для упрощения клиентского пути, улучшения опыта взаимодействия с банком. Преимущество нашей команды в возможности внедрить новейшие технологии связанные с LLM и AI агентами в реальные процессы.

Обязанности

* Разрабатывать и поддерживать тесты для ИИ-агентов (чат-агенты, автономные ассистенты, multi-agent системы). * Писать специализированных «агентов-проверяющих» на Python — программных ассистентов, которые тестируют поведение, логику и безопасность других ИИ-агентов. * Проектировать сценарии для проверки корректности, согласованности, устойчивости к манипуляциям и соблюдению инструкций. * Анализировать логи взаимодействий, выявлять edge-кейсы и системные риски. * Участвовать в формировании стратегии обеспечения качества для генеративных ИИ-систем.

Требования

* Опыт автоматизированного тестирования на Python (pytest, requests, asyncio и др.). * Уверенное владение основами тестирования: жизненный цикл ПО, виды тестирования (функциональное, регрессионное, интеграционное и др.), методологии (Agile/Scrum), метрики качества; * Навыки построения и актуализации тестовых моделей (например, на основе требований, user stories или архитектурных диаграмм) для выявления ключевых сценариев и рисков; * Понимание принципов работы LLM и ИИ-агентов (промпты, инструменты, память, цепочки рассуждений). * Умение проектировать сложные тестовые сценарии для нетривиальных систем. * Опыт валидации поведения систем без чёткого «правильного ответа» (open-ended output). ### Будет большим плюсом: * Знание и практическое применение подхода LLM-as-a-Judge для оценки качества ответов агентов. * Опыт использования LLM в качестве инструмента анализа или оценки. * Участие в тестировании RAG-систем, multi-agent окружений или агентов с внешними инструментами.

Условия

* Конкурентная заработная плата (оклад + годовые премии); * Социальный пакет (ДМС, страхование от несчастных случаев, льготное кредитование); * Возможность обучения и сертификации за счет компании (Coursera и своя виртуальная школа); * Материальная помощь при наступлении значимых событий в жизни; * Дисконт-программы от компаний партнеров (фитнес, страхование, туризм); * Офис/гибридный формат на Кутузовской, с зонами отдыха и спортзалом; * Подарки и мероприятия для детей сотрудников. Оздоровительные программы для детей сотрудников; * Возможность принять участие в других крупных и уникальных проектах банка.