Lead Backend Developer (команда GigaChat Pretrain)

Описание

Мы в GigaChat делаем core-технологию генеративной языковой модели: она пишет тексты, генерирует изображения, пишет код, отвечает на вопросы и ведёт диалоги. Прошлой осенью мы выпустили сильную русскоязычную модель GigaChat MAX уровня GPT-4 (метрики — [в статье на Habr](https://habr.com/en/companies/sberdevices/articles/855368/)). Зимой [выложили в открытый доступ](https://habr.com/en/companies/sberdevices/articles/865996/) одну из наших MoE-моделей. И на этом не остановились — двигаемся дальше! Сейчас у нас фокус в несколько направлений: 1\. Исследования и эксперименты — стабилизация и развитие архитектур (новые виды attention, улучшение тестового стенда изменений) — методы улучшения обучения (оптимизация, лоссы и режимы вроде FIM/MTP, балансировка MoE) — скейлинг-законы (для гиперпараметров, качества и стоимости) — постоянный разбор свежих статей и идей индустрии 2\. Инфраструктура и параллельные тренировки 5-D параллелизм, ускорение мультимодальных и гигантских MoE-моделей на больших кластерах. 3\. Фреймворк распределённого обучения Разработка GigaFSDP, эксперименты с FP8/mixed-precision, устойчивость и эффективность обучения на больших масштабах. 4\. Низкоуровневые оптимизации Оптимизация операций на уровне CUDA/triton ядер, улучшение производительности NCCL, профилирование и устранение узких мест. 5\. Качество и метрики Развитие оценки GigaChat: от международных олимпиадных задач до метрик, специфичных для русского языка. Ищем Lead Backend Developer , с которым будем делать GigaChat умнее. Для экспериментов у нас — кластер с большим числом A100/H100.

Обязанности

**Чем предстоит заниматься** \* Доводить качество на русском до уровня ChatGPT и выше. \* Придумывать и проверять идеи, которые дают практический выигрыш. \* Помогать решать задачи внутренних клиентов Сбера — с прицелом на внешних пользователей. \* Следить за индустрией: читать статьи, быстро проверять гипотезы, делиться результатами.

Требования

**Что важно** \* Уверенный Python и PyTorch. \* База по алгоритмам и математике (линейная алгебра, оптимизация, вероятности). \* Представление о текущем ландшафте LLM и трендах будет плюсом Даже если у тебя нет опыта с LLM — не стесняйся откликнуться!

Условия

\* Удалённо по России. \* Возможность оформления в акктеритованную IT-компанию. \* Годовая премия по итогам работы до 6 окладов. \* Регулярный пересмотр зарплат. \* Корпоративный спортзал и зоны отдыха. \* Более 400 программ СберУниверситета для роста. \* Программа адаптации и помощь руководителя на старте. \* Крупнейшее DS&AI community – более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы. \* Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа. \* Ипотека для сотрудников по дисконтной программе. \* СберПрайм+ и скидки у партнёров. \* Бонус за рекомендации в команду.