Аналитик-разработчик Alice AI

Мы разрабатываем и совершенствуем большую языковую модель Alice AI LLM — технологическое ядро Алисы, Нейропоиска, MarketAI, робота Макса и других инновационных сервисов. Это уникальная возможность повлиять на то, как миллионы пользователей будут взаимодействовать с ИИ‑технологиями. Каждый день мы ищем ответы на вопросы, которые влияют на качество работы умных сервисов:

• Как определить, какие задачи модель решает отлично, а где ей нужна помощь?
• Какие данные добавить в finetune, чтобы научить модель новой способности?
• Где взять эти данные и как гарантировать их качество?
• Как выстроить эффективный процесс краудсорсинговой разметки?

Если вам интересно разбираться в этих вызовах и влиять на развитие передовой ML-технологии — присоединяйтесь!

Какие задачи вас ждут

Анализ проблемных срезов
Вы будете искать проблемные области модели, разрабатывать подходы к их решению, готовить обучающие данные и проверять эффективность внесённых изменений.

Сбор данных
Данные — основа успеха. Вы будете находить качественные источники инструкций, отбирать материал для обучения и валидации, выявлять проблемы в существующих данных, формулировать критерии эталонных ответов и следить за их соблюдением.

Создание метрик качества
Вы будете оценивать качество модели с помощью самых разных подходов: от использования бенчмарков и LLM-as-a-judge до краудсорсинга и привлечения высококвалифицированных AI-тренеров. Вам предстоит формулировать критерии, экспериментировать с методиками и создавать надёжные метрики для системного улучшения модели.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Знаете математическую статистику и теорию вероятностей
• Любите работать с текстовыми данными
• Пишете на Python и SQL
• Интересуетесь развитием LLM и хотите глубоко погрузиться в тему
• Самостоятельны и не боитесь браться за новые задачи, для которых нет готового решения