Аналитик-разработчик YandexGPT (Support GPT)

Наша команда занимается аналитикой базовой модели, лежащей под «капотом» Алисы, Нейропоиска, Нейробраузера и многих других продуктов, — большой языковой модели YandexGPT.

Вот некоторые из наших рабочих вопросов:

• Как определить, с какими задачами модель справляется хорошо, а с какими — не очень?
• Какие данные добавить в обучающую выборку, чтобы научить модель новому навыку?
• Откуда взять эти данные и как проконтролировать их качество?
• Как понять, какая модель лучше справляется с целевым срезом задач?

Мы ищем аналитика, который поможет нам в развитии модели, заточенной под задачи службы поддержки.

Какие задачи вас ждут

Развитие системы оценки моделей
В ответах службы поддержки крайне важно следить за точностью, полнотой и полезностью, особенно если речь идёт о генерациях моделей. Основная задача аналитики здесь — это всесторонняя оценка качества ответов и соответствие требованиям. Вам предстоит заняться развитием уже существующей системы оценки, а также разрабатывать и внедрять новые подходы и метрики.

Проверка гипотез и поиск точек роста
Для того чтобы понимать, как дальше улучшать модель, необходимо искать новые точки роста. В ходе этого поиска вы будете формулировать гипотезы, проверять их, а также анализировать полученные результаты.

Сбор и подготовка обучающих данных
После того как вы определите, какие аспекты модели нужно оптимизировать, чтобы она лучше справлялась со своей задачей, вам необходимо будет собрать обучающий датасет под эти аспекты, проконтролировать его качество, а также оценить влияние на итоговую модель. Для этого у нас есть готовые инструменты, которые тоже предстоит развивать и улучшать.

Мы ждем, что вы

• Умеете писать на Python и SQL, а также оптимизировать свой код
• Знаете математическую статистику и теорию вероятностей — в частности, умеете применять различные методы проверки гипотез, правильно выбирать и считать метрики
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения

Будет плюсом, если вы

• Знакомы с верхнеуровневым устройством современных LLM и следите за трендами на этом рынке
• Работали с Толокой или другими краудсорс-платформами