Effective-DL Engineer (GigaChat)

Описание

Мы команда GigaChat - создаём и развиваем core-технологию генеративной языковой модели. Сейчас GigaChat умеет создавать тексты, понимать аудиосигналы и вести с вами беседы голосом, создавать изображения, решать сложные математические задачи и даже программировать на CUDA. Мы убеждены, что создание большой языковой модели требует сочетания наукоемких исследований, тщательного проектирования архитектуры обучений и грамотной организации внутренних процессов. Наша команда осенью выпустила сильную русскоязычную модель GigaChat MAX уровня GPT-4 (метрики в статье), а этой зимой выложили в открытый доступ одну из наших MoE-моделей. Теперь мы ищем талантливого Engineer-а, который поможет нам ускорять инфраструктуру обучений, работая с самым современным железом в индустрии. В этой роли вы будете сотрудничать с нашим ML и Production командами, ускоряя их обучения в том числе на аппаратном уровне.

Обязанности

* профилировать и ускорять нашу систему обучений * писать Hardware-специфичные кернелы обучений, в том числе для балансировки нагрузки в распределенных системах * повышать стабильность работы обучений * применять и оптимизровать новейшие методы обучений, доводить их до production-решений * постоянно держаться up-to-date со свежими статьями.

Требования

* уверенное владение Python, С++, Pytorch/Tensorflow * знание базовых алгоритмов и математики * опыт работы с одной из технологий: CUDA, Triton, PTX * опыт работы с аппаратными ускорениями для видеокарт NVIDIA A100, H100, H200 * понимание работы с RDMA сетями, NCCL, MPI * понимание текущего состояния эволюции распределенных вычислений и написания hardware-эффективных ядер.

Условия

* комфортный современный офис рядом с м. Кутузовская * возможность выбрать удобный график – офис/гибрид/удаленка * годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * ипотека для сотрудников по дисконтной программе * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.