Product Analyst (GigaChat)

Описание

Мы - команда ML-инженеров GigaChat Data. Наша команда готовит данные для обучения всей линейки моделей LLM GigaChat (Text, Vision, Audio, Embeddings и др.). Мы собираем данные как для базовых моделей, так и для их адаптации под конкретные сценарии. Сейчас мы ищем продуктового аналитика, который будет помогать нам с околорелизными процессами: системно оценивать модели, собирать тестовые наборы данных и отслеживать качество ответов на ключевых сценариях использования.

Обязанности

* анализировать требования к качеству моделей и формализовывать их в тестовые сценарии и чек-листы * собирать и поддерживать тестовые сеты * участвовать в релизном процессе: проводить приёмку модели, оценивать качество ответов, считать автоматические метрики, организовывать и анализировать ручную разметку * использовать современные подходы к оценке качества LLM: * SBS (side-by-side evaluation) - сравнение моделей между собой * LLM-as-a-judge - автоматическая оценка ответа с помощью другой модели * специализированные сайты, бенчмарки (ChatBot Arena, MT-Bench и др.) * взаимодействовать с командой разработчиков: выявлять потенциальные проблемы, предлагать улучшения * отслеживать баг-репорты, классифицировать их и формировать задачи * проводить анализ пользовательских логов, выявлять системные ошибки и регистрировать инциденты * развивать автоматизацию проверки качества и интегрировать её в пайплайн релизов.

Требования

* уверенное владение Python и опыт работы с библиотеками для анализа данных (pandas, NumPy и др.) * знание и практическое применение публичных бенчмарков (MMLU, GSM8K, MATH, HumanEval и тд) * практический опыт работы с современными LLM: Llama, Mistral, Qwen, GPT (OpenAI), Gemini (Google), Claude (Anthropic) или аналогичными * навыки работы с данными: очистка, нормализация, подготовка датасетов * внимательность к деталям, умение находить нестандартные ошибки в сложных сценариях * способность документировать процессы в понятной форме * навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.

Условия

* удаленный/гибридный/офисный формат в Москве, Санкт-Петербурге и Нижнем Новгороде * ежегодный пересмотр зарплаты и годовая премия * расширенный ДМС и льготное страхование для семьи * уникальная система обучения Сбера для профессионального и карьерного развития * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компании-партнёров * вознаграждение за рекомендацию друзей в команду Сбера * корпоративная пенсионная программа.