Аналитик данных (junior+)

Описание

Мы — команда разработки AI-агентов и решений на базе LLM и классических моделей машинного обучения. Создаём интеллектуальных ассистентов, диалоговые системы, инструменты извлечения знаний и автоматизацию бизнес-процессов с помощью передовых языковых моделей. Первый этап отбора на эту вакансию — общение с AI- рекрутером. После отклика вам на почту придёт приглашение пройти первичное интервью с ГиаРекрутером. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГиаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

* разметка текстовых данных для обучения и оценки LLM: диалоговые и агентные треки, оценка ответов модели (quality, safety, style), ранжирование вариантов ответов (preference data) * создание и уточнение разметочных инструкций под конкретные продуктовые сценарии * валидация и контроль качества разметки (внутренней и внешней) * анализ размеченных данных: распределение классов, выявление аномалий, системных ошибок * подготовка аналитических отчётов для ML-инженеров и продакт-менеджеров * оценка качества данных до и после разметки * формулирование гипотез по улучшению данных и, как следствие, модели * участие в формировании требований к данным для новых фич * помощь в построении пайплайнов валидации данных.

Требования

* опыт разметки текстовых данных от 2 лет (включая работу с диалогами, инструкциями, LLM) * понимание, как качество разметки влияет на качество моделей (LLM и классических) * базовые навыки аналитики данных: SQL, Pandas, описательная статистика * опыт подготовки аналитических выкладок / дашбордов по качеству данных * понимание ключевых метрик качества разметки (коэффициент согласия, precision/recall на золотом наборе). Будет плюсом * опыт работы с LLM (дообучение, промпт-инжиниринг, оценка ответов) * знакомство с агентными архитектурами (planning, tool use, memory) * базовые знания Python (автоматизация проверок разметки) * опыт управления внешними разметчиками / краудом * понимание метрик оценки LLM (BLEU, ROUGE, BertScore, LLM-as-a-judge).

Условия

* возможность профильного обучения (обучение и сертификация за счет компании в Корпоративном университете) * профессиональный рост * гибкий график начала рабочего дня, гибридный формат работы. Офис расположен в г.Москва Кутузовский проспект 32 * стабильная, конкурентная «белая» заработная плата (оклад + премии) * льготные условия по кредитам Сбербанка * ДМС, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия.