AQA Engineer (Python)

Описание

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Наша команда занимается развитием дистанционных каналов продаж с использованием AI. Основные каналы — чат клиентов с Банком и телефония: исходящие и входящие звонки. Сейчас мы в поиске опытного QA инженера, который поможет нам воплотить в жизнь подход к тестированию недетерминированных LLM-сущностей.

Обязанности

* разработка и поддержка автотестов на Python для проверки функционала голосового агента и смежных систем * написание и поддержка тестовых сценариев в Zephyr * оценка качества ответов LLM с помощью метрик (LLM-as-a-Judge, ROUGE, BLEU, Semantic Similarity) * анализ результатов тестирования, заведение и отслеживание дефектов в Jira * участие в развитии подходов к тестированию недетерминированных систем.

Требования

* уверенное знание Python и опыт применения его для автоматизации тестирования * практический опыт автоматизации тестирования Web UI (Selenium / Playwright или аналоги) * понимание специфики тестирования LLM: недетерминированность, семантическое сравнение, метрики качества * опыт прикладного использования LLM-as-a-Judge * кмение писать чёткие тест-кейсы и анализировать результаты прогонов * опыт работы с Jira, Confluence (или аналогами) **Будет плюсом:** * опыт работы с фреймворками оценки LLM: Langchain Eval, DeepEval, Trulens, Ragas * знание метрик ROUGE, BLEU, BERTScore * опыт тестирования голосовых ассистентов или чат-ботов * опыт работы с SIP, телефонией * опыт работы с CI/CD (GitLab CI, Jenkins) * желание разбираться в новой предметной области, исследовать уже имеющиеся в открытом доступе подходы и предлагать свои решения.

Условия

* комфортный современный офис - м. Кутузовская * ежегодный пересмотр зарплаты, годовой бонус * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера * корпоративная пенсионная программа.