Продуктовый аналитик (GigaChat Data Alignment)

Описание

Мы - команда ML-инженеров GigaChat Data. Наша команда готовит данные для обучения всей линейки моделей LLM GigaChat (Text, Vision, Audio, Embeddings и др.). Мы собираем данные как для базовых моделей, так и для их адаптации под конкретные сценарии: * B2C-направление: веб-версия GigaChat и другие платформы * внутреннее использование: автоматизация банковских операций, обработка финансовой документации, аналитика внутренних сервисов и поддержка персонала * корпоративные проекты: разработка кастомизированных решений для внешних заказчиков, внедрение технологий LLM в бизнес-процессы компаний-партнёров.

Обязанности

### Что предстоит делать * анализировать пользовательский фидбэк и логи общения пользователей с моделью: собирать и кластеризовать отзывы, запросы и дизлайки; выявлять паттерны неудовлетворенности продуктом; придумывать способы решения выявленных проблем * замерять метрики продуктовой эффективности: считать базовые метрики продукта: DAU/MAU, Retention Rate; сравнивать работу GigaChat в различных сценариях с другими решениями на рынке * запускать A/B-эксперименты для оценки качества работы модели: формировать гипотезы, придумывать дизайн тестовых и контрольных групп; анализировать результаты экспериментов * заниматься задачами разметки: создавать проекты разметки;  контролировать качество работы разметчиков * заниматься предобработкой и валидацией данных: писать пайплайны для сбора и очистки больших объёмов сырых данных * собирать обучающие датасеты: формировать выборки для Supervised Fine-Tuning (SFT), Reinforcement Learning (DPO, PPO, GRPO); оптимизировать стратегии сбора данных для повышения эффективности обучения.

Требования

### Для нас важно * свободное владение Python: опыт работы с библиотеками pandas, NumPy и т.п. * понимание продуктовых метрик и метрик оценки качества больших языковых моделей (LLM) * опыт с LLM-моделями: практическая работа с Llama, Mistral, Qwen, Google Gemini, OpenAI GPT, Anthropic или аналогами * опыт в продуктовой аналитике, базовое знание статистики.

Условия

### Мы предлагаем * крупнейшее DS&AI community — более 600 DS-специалистов банка * дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира * возможность выбрать удобный формат работы: гибрид или офис * комфортный современный офис: ст. м. Кутузовская, пр. Кутузовский, 32 * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * ипотека выгоднее до 7% для каждого сотрудника * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.