NLP Engineer (SberDevices)

Описание

SberDevices - инновационное направление компании, которое создает умные устройства, виртуальные ассистенты и другие продукты в области Speech Recognition, NLP, Computer Vision. Ищем NLP-разработчика в команду RnD NLP. Мы занимаемся трансформерными моделями для задач обработки естественного языка

Обязанности

* Имплементация и обучение новых state-of-the-art моделей, как для русского языка, так и мультиязычных * Распределенное обучение моделей на суперкомпьютере в сотни GPU * эксперименты по оптимизации моделей, ускорению обучения, новым методам Распределенного обучения и инференса * Работа над созданием надежного, быстрого и масштабируемого пайплайна для обучения гигантских моделей в десятки миллиардов параметров.

Требования

* Хорошее понимание современных архитектур нейронных сетей, Seq2Seq, трансформеры, BERT, GPT, T5 и т.п. * Опыт работы с Pytorch или TF (мы на Pytorch) * Умение читать и разбирать статьи о новых архитектурах и подходах * Понимание принципов обучения, тюнинга, оценки deep learning моделей * Опыт отладки нейронных сетей и модификации архитектур или создания собственных— уверенное знание Python, Git, Linux shell Будет плюсом: * Опыт распределенного обучения на нескольких GPU и серверах * Опыт работы с CUDA * Опыт оптимизации или сжатия/дистилляции моделей * Опыт воспроизведения статей в коде * Знание C++ * Обучение в ШАДе * Наличие публикаций по Deep Learning

Условия

* Достойная заработная плата + бонус * Сильная команда и передовые проекты * ДМС, с первого рабочего дня * Удаленный формат работы (по РФ)