Стажёр-исследователь: линейное внимание и рекуррентные архитектуры LLM

Описание

Как сделать языковую модель качественнее при том же бюджете вычислений? В GigaChat Pretrain мы исследуем альтернативы стандартному вниманию: Gated DeltaNet, Kimi Delta Attention, Mamba и другие линейные и рекуррентные блоки. За три месяца вы разберёте перспективные подходы, выберете базовую архитектуру и проверите собственное изменение. Это исследовательская задача с неопределённым результатом: важно не только найти улучшение, но и понять, какие идеи работают, где и почему.

Обязанности

* Разбирать свежие статьи и выбирать перспективные идеи для экспериментов. * Реализовывать и менять линейные и рекуррентные блоки языковых моделей. * Сравнивать качество, скорость и расход памяти при сопоставимом бюджете вычислений. * Проводить абляции и выяснять, какие изменения стоит масштабировать.

Требования

* Уверенное владение Python и PyTorch. * Знакомство с распределённым обучением. * Понимание глубокого обучения и устройства Transformer. * Умение читать статьи, формулировать гипотезы и проверять их экспериментально. **Будет плюсом** * Собственный исследовательский проект. * Опыт обучения языковых моделей, работы с линейным вниманием или state-space моделями. * Опыт с CUDA, Triton или оптимизацией GPU-вычислений.

Условия