Fullstack QA (Managed RAG)

Команда Evolution Managed RAG развивает и поддерживает управляемый RAG-сервис Cloud.ru Evolution: от загрузки корпоративных документов до семантического поиска и генерации ответов с LLM — без собственной инфраструктуры индексирования, векторного хранилища и DevOps у клиента. Данные в защищенном контуре в РФ. Сейчас мы ищем опытного QA (Middle+), который умеет писать стабильные авто-тесты, расширять покрытие, выстраивать quality gates и брать на себя ответственность за процессы тестирования в продукте — без долгого погружения «с нуля». Документация продукта: https://cloud.ru/docs/rag Что мы предлагаем: Продукт на стыке GenAI и production-платформы: Knowledge Bases, ETL-индексация, векторный поиск, Retrieve / RetrieveGenerate, интеграция с Foundation Models и ML Inference. Уже есть авто-тесты — нужно расширять покрытие, стабилизировать прогоны и доводить quality gates до рабочего состояния; есть заметный техдолг по тестированию, который предстоит разобрать. Возможность влиять на процессы тестирования продукта: стратегия покрытия, артефакты, регресс, приоритизация. Работа в команде с сильными инженерами. Стек на Kubernetes: control plane + data plane, Kafka, Temporal, PostgreSQL + PgVector, Object Storage. Чем предстоит заниматься: Развивать тестовую стратегию продукта Писать и расширять авто-тесты на Python (pytest) и/или Go по критичным пользовательским и сервисным сценариям. Разбирать накопленный техдолг по тестированию: доводить ручные тесты до автоматизации, отслеживать и закрывать пробелы в покрытии, наводить порядок в регрессе и фиксации результатов тестирования. Следить за стабильностью прогонов в CI/CD и участвовать в приёмке фичей перед выкаткой на прод. Работать с k8s-стендами: разбирать логи, воспроизводить дефекты, помогать с регрессией. Взаимодействовать с разработкой: обсуждать edge-кейсы, приоритезировать покрытие по критичности, поднимать качество баг-репортов и тестовой документации. Участвовать в общих QA-практиках направления (обмен подходами, стандарты, кросс-ревью). Участвовать в решении пользовательских заявок и инцидентов от технической поддержки.

Опыт автоматизации тестирования от трех лет. Опыт написания тестов на Python и/или Go. Сильный API QA: REST (плюсом gRPC), контракты, негативные сценарии, изоляция тенантов, асинхронные пайплайны. Понимание архитектуры распределённых систем: Kubernetes, очереди/брокеры (желательно Kafka), реляционные БД; плюсом — оркестрация workflow (Temporal или аналоги). Опыт написания и отладки тестов в CI/CD. Умение действовать самостоятельно: сам находишь пробелы в покрытии, предлагаешь стратегию, доводишь до работающих авто-тестов и quality gates. Готовность брать ответственность за процессы тестирования в продукте (не только «пройти чеклист»). Участие в выстраивании QA-процессов в команде (стратегия, шаблоны, quality gates). Дополнительно приветствуем:   Опыт тестирования GenAI / RAG / LLM-пайплайнов (retrieval, embeddings, rerank, generate, оценка качества ответов). Опыт тестирования биллинга, квот и других интеграций в облачных сервисах. Опыт тестирования ETL процессов, объектных хранилищ (S3-совместимых) или векторных БД. Опыт нагрузочного тестирования (k6, Locust или аналоги). Опыт настройки метрик и алертов в Prometheus + Grafana. Опыт с Kubernetes именно в контексте тестирования и стендов.

Комфортная среда Оформление в соответствии с трудовым законодательством РФ; Достойный уровень дохода: оклад + годовой бонус; Расширенный ДМС со стоматологией; Компенсация спорта; Штатный терапевт и психолог; Гибкий график работы, пятница – сокращенный рабочий день; Классный офис в Москве; Культура, в основе которой эмпатия, уважение, открытость и свобода строить рабочий процесс так, как считаешь нужным. Место, где ты растешь Индивидуальный план развития и обучение за счет компании; Возможность вертикального и горизонтального роста; Возможность развиваться как эксперту: выступать на мероприятиях, писать статьи. Крутая команда Профессиональные сообщества и клубы по интересам; Неформальные мероприятия: от футбольного клуба до посиделок с пиццей. Еще у нас Льготная программа ипотечного и потребительского кредитования; Материальная помощь при рождении детей и других семейных обстоятельствах; Бонусы за рекомендации кандидатов на открытые вакансии.