Стажёр-исследователь: перенос LLM в новую архитектуру

Описание

Можно ли изменить архитектуру уже обученной LLM и получить сильную модель дешевле, чем при обучении с нуля? В GigaChat Pretrain мы исследуем перенос обученных моделей в новые архитектуры: из dense в MoE, с добавлением экспертов и слоёв, изменением ширины или механизма внимания. За три месяца вы выберете одно направление, реализуете способ переноса весов и проверите, насколько быстро модель восстанавливает и улучшает качество. Главная метрика — сколько вычислений потребуется, чтобы достичь качества такой же архитектуры, обученной с нуля.

Обязанности

* Реализовывать методы переноса весов и адаптации модели к новой архитектуре. * Подбирать рецепт дообучения и сравнивать его с обучением с нуля. * Проверять собственные гипотезы, проводить абляции и оценивать экономию вычислений.

Требования

Что мы ждём * Уверенное владение Python и PyTorch. * Знакомство с распределённым обучением. * Понимание глубокого обучения и устройства Transformer. * Умение читать статьи и воспроизводить их результаты. **Будет плюсом** * Собственный исследовательский проект. * Опыт обучения языковых моделей, работы с MoE или дистилляцией. * Опыт изменения архитектур и переноса предобученных весов.

Условия