Data pipeline

Описание

Поддерживать высоконагруженные пайплайны обработки мультимодальных данных, статистически анализировать потоки больших (более 50GB/sec) медиа-данных, быть шлюзом для доступа других команд к хранилищу данных.

Обязанности

* развивать и поддерживать стабильность конвейера по обработке данных для генеративных сетей на кластере из сотен современных GPU * обеспечивать поддержку по доступу к данным другим командам, собирать, приоритизировать задачи по обработке данных * регулярный сбор и анализ статистики по данным.

Требования

* знание основ машинного обучения и анализа данных от 3-х лет * опыт работы с нейронными сетями, в частности опыт работы с pytorch * умение достигать результата в означенный срок. * понимание DevOps-процессов, CI/CD, мониторинга (Prometheus, Grafana). * знание SQL от 3-х лет * навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом. Будет плюсом: * практический опыт с SQL, Grafana, Prometheus от 2-х лет * опыт обучения нейронных сетей от 3-х лет * опыт работы с большими объемами данных от 2-х лет.

Условия

* комфортный современный офис в Москве * возможность выбрать удобный гибридный график * ежегодный пересмотр зарплаты годовая премия * зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * программа адаптации и помощь руководителя на старте (для стартовых позиций) * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.