Тестировщик AI

Описание

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Ждем именно тебя! Наша команда строит мультиагентную систему, управляющую множеством агентов и умеющую решать под ключ целый ряд задач клиентов. Ваша роль будет заключаться в контроле качества работы этой системы. В первую очередь в изучении логов общения этой системы с людьми. В том числе, в проверках на эмпатию, правильный tone of voice, учет контекста и удержание цели диалога. Вы будете общаться с DS командой, разработчиками, а также консультировать коллег из смежных бизнес-команд (владельцы продуктов). Для работы откроем вам безлимитный доступ к самым последним версиям LLM, включая внутренние разработки.

Обязанности

### **Обязанности:** * ручная вычитка диалогов пользователей с AI, выявление ошибок и слабых мест в работе системы * точная и подробная разметка диалогов согласно нашим методикам, позволяющая улучшать качество обработки запросов и отвечать ожиданиям пользователей * постоянное повышение уровня экспертизы в области анализа коммуникаций, совершенствование собственных навыков критического восприятия текста * предоставление обратной связи команде разработчиков, предложение идей по улучшению алгоритмов и процессов коммуникации.

Требования

### Мы ожидаем: * внимание к деталям, способность замечать малейшие нюансы и несоответствия * способность структурированно анализировать тексты и выявлять проблемные места * умение эффективно расставлять приоритеты и управлять своим временем * ответственность и пунктуальность, готовность соблюдать сроки и следовать внутренним стандартам качества * опыт взаимодействия с большими языковыми моделями (LLMs), такими, как GC, ChatGPT, YaGPT, LLaMa, Claude, Grok и другими, понимание особенностей поведения AI-помощников * желателен опыт тестирования интерфейсов или программного обеспечения, однако наличие подобного опыта не является обязательным условием * навыки работы с генеративными AI-моделями, опыт создания AI-агентов и использования их в работе будет преимуществом.

Условия

### Что мы предлагаем: * **офисный формат работы** * помощь наставника на старте работы * годовой бонус и ежегодный пересмотр заработной платы * современный офис на Кутузовском проспекте с зонами отдыха и спортзалом * обширная корпоративная библиотека курсов для профессионального развития, возможность обучения за счет компании * корпоративная программа лояльности: бесплатная подписка на СберПрайм+, льготные условия по продуктам банка и скидки в компаниях партнерах * официальное оформление по ТК РФ * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.