Аналитик-разработчик Alice AI

Наша команда занимается аналитикой базовой модели Alice AI, лежащей под капотом Алисы, Нейроэксперта и многих других продуктов. Вот некоторые из наших рабочих вопросов:

• Как определить, с какими задачами модель справляется хорошо, а с какими — не очень?
• Какие данные добавить в обучающую выборку, чтобы научить модель новому навыку?
• Откуда взять эти данные и как проконтролировать их качество?
• Как понять, какая модель лучше справляется с целевым срезом задач?

Мы ищем аналитика, который поможет нам в развитии модели, заточенной под задачи работы с файлами.

Какие задачи вас ждут

Развитие системы оценки моделей
При генерациях ответов на основе переданных пользователем файлов крайне важно следить за точностью, полнотой и полезностью. Основная задача аналитики здесь — это всесторонняя оценка качества ответов и соответствия требованиям. Вам предстоит развивать уже существующую систему оценки, а также разрабатывать и внедрять новые подходы и метрики.

Проверка гипотез и поиск точек роста
Для того чтобы понимать, как дальше улучшать модель, необходимо искать новые точки роста. В ходе этого поиска вы будете формулировать гипотезы, проверять их, а также анализировать полученные результаты.

Сбор и подготовка обучающих данных
После того как вы определите, какие аспекты модели нужно оптимизировать, чтобы она лучше справлялась со своей задачей, вам необходимо будет собрать обучающий датасет под эти аспекты, проконтролировать его качество, а также оценить влияние на итоговую модель. Для этого у нас есть готовые инструменты, которые тоже предстоит развивать и улучшать.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждем, что вы

• Умеете писать на Python и SQL, а также оптимизировать свой код
• Знаете математическую статистику и теорию вероятностей — в частности, умеете применять различные методы проверки гипотез, правильно выбирать и считать метрики
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения

Будет плюсом, если вы

• Знакомы с верхнеуровневым устройством современных LLM и следите за трендами на этом рынке
• Работали с Яндекс Заданиями или другими краудсорс-платформами