NLP-разработчик в команду претрейна YandexGPT

Наша команда занимается претрейном YandexGPT — первым и самым ресурсоёмким этапом обучения больших языковых моделей (LLM). Мы подбираем данные, ставим эксперименты, выбираем методы обучения и обучаем сами модели. Наши разработки лежат в основе многих сервисов Яндекса, таких как Алиса, Нейро в Поиске, а также используются в Браузере, Маркете, Рекламе и Переводчике. Качество этих продуктов напрямую зависит от наших моделей.

Одна из ключевых характеристик претрейн-моделей — их «умность». Это подразумевает знание всех фактов и концепций из текстов, а также умение обобщать информацию. Мы стремимся сделать YandexGPT самой умной моделью на рынке, чтобы продукты на основе нашей нейросети были лучшими.

Какие задачи вас ждут

Сбор корпуса для обучения модели
Современные LLM требуют триллионов токенов. Сбор таких датасетов — нетривиальная задача: из триллионов документов в интернете необходимо выбрать и обработать те, которые принесут максимум пользы при обучении модели. Полное обновление корпуса для претрейн-модели позволило претрейну YandexGPT 5 Lite достигнуть паритета с мировыми SOTA по ряду ключевых бенчмарков для претрейн-моделей, а по многим другим — превзойти их. Подробнее про YandexGPT 5 можно почитать в статье на Хабре.

Вы пройдёте весь путь сбора датасета для SOTA-моделей: от обучения классификаторов для нахождения полезных документов и поиска новых источников данных до обработки этих данных и проведения экспериментов. Будете выбирать датасет, влияющий на качество всех моделей в Яндексе, с помощью продвинутых методов на основе scaling laws.

Создание основы для умных агентов
Агенты — это следующий шаг эволюции AI. Последние громкие релизы моделей, как коммерческих, так и open-source, отдельно фокусируются на создании систем, способных автономно оперировать в цифровой среде. Именно на этапе претрейна можно заложить способности, которые сделают будущих агентов на основе YandexGPT в разы сильнее. Вы определите, как именно это осуществить. Предстоит исследовать все: от построения агентской среды до определения оптимальной схемы обучения.

Поиск новых направлений
Обучение LLM — это быстро развивающаяся область, где постоянно выходят новые исследования и релизы от конкурентов. Важно выделять из этого потока те результаты, которые с высокой вероятностью помогут в достижении наших целей. Вы будете не просто следить за трендами, а первым тестировать и внедрять самые перспективные идеи.

Мы ждем, что вы

• Разбираетесь в том, как устроены LLM, и имеете опыт работы в NLP или других областях DL
• Умеете находить в потоке выходящих статей и исследований те результаты, которые стоит попробовать
• Можете генерировать новые идеи, которые приводят к улучшению результата
• Готовы к высокому темпу работы, необходимому для конкуренции с ведущими игроками в мире AI