Инженер-тестировщик LLM (GigaChat Data)

Описание

Мы - команда ML-инженеров GigaChat Data. Наша команда готовит данные для обучения всей линейки моделей LLM GigaChat (Text, Vision, Audio, Embeddings и др.). Мы собираем данные как для базовых моделей, так и для их адаптации под конкретные сценарии: • B2C-направление: веб-версия GigaChat • внутреннее использование: автоматизация банковских операций, обработка финансовой документации, аналитика внутренних сервисов и поддержка персонала • корпоративные проекты: разработка кастомизированных решений для внешних заказчиков, внедрение технологий LLM в бизнес-процессы компаний-партнёров. Нам важно следить за качеством наших моделей, поэтому мы ищем инженера по тестированию.

Обязанности

### Что предстоит делать * анализировать требования к качеству моделей и формализовывать их в тестовые сценарии и чек-листы * собирать и поддерживать тестовые сеты * участвовать в релизном процессе: проводить приёмку модели, оценивать качество ответов, считать автоматические метрики, организовывать и анализировать ручную разметку * использовать современные подходы к оценке качества LLM: SBS (side-by-side evaluation) - сравнение моделей между собой; LLM-as-a-judge - автоматическая оценка ответа с помощью другой модели; специализированные сайты, бенчмарки (ChatBot Arena, MT-Bench и др.) * взаимодействовать с командой разработчиков: выявлять потенциальные проблемы, предлагать улучшения * отслеживать баг-репорты, классифицировать их и формировать задачи * проводить анализ пользовательских логов, выявлять системные ошибки и регистрировать инциденты * развивать автоматизацию проверки качества и интегрировать её в пайплайн релизов.

Требования

### Для нас важно * уверенное владение Python и опыт работы с библиотеками для анализа данных (pandas, NumPy и др.) * знание и практическое применение публичных бенчмарков (MMLU, GSM8K, MATH, HumanEval и тд) * практический опыт работы с современными LLM: Llama, Mistral, Qwen, GPT (OpenAI), Gemini (Google), Claude (Anthropic) или аналогичными * навыки работы с данными: очистка, нормализация, подготовка датасетов * внимательность к деталям, умение находить нестандартные ошибки в сложных сценариях * способность документировать процессы в понятной форме.

Условия

### Мы предлагаем * крупнейшее DS&AI community — более 600 DS-специалистов банка * дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира * возможность выбрать удобный формат работы: гибрид или офис * комфортный современный офис: ст. м. Кутузовская, пр. Кутузовский, 32 * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * ипотека выгоднее до 7% для каждого сотрудника * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.