Intern Data Engineer (SberAI)

Описание

Мы – команда Компьютерного зрения проекта Embodied AI. Наша ключевая задача – упростить и удешевить сбор данных для обучения роботов-гуманоидов. Ключевая часть нашей работы – это обработка и организация больших объёмов данных: видео, изображений и промежуточных артефактов. Мы строим инфраструктуру, которая позволяет эффективно хранить, перерабатывать и агрегировать данные, обеспечивая воспроизводимость и масштабируемость пайплайнов.

Обязанности

* Мониторинг и оптимизация рабочих процессов обработки и загрузки * данных, Data Mining * Разработка инфраструктуры и внутренних сервисов для эффективной * обработки больших объемов данных * Создание технической документации и поддержка баз знаний по * работе с данными * Контроль качества входных данных и автоматизация проверки * качества данных * Разработка воспроизводимых ETL-процессов для подготовки * датасетов под обучение моделей

Требования

* Студент старших курсов или выпускник (магистратура/специалитет) технического вуза (МФТИ, ВШЭ, ИТМО, МГУ и т. д.) * Опыт работы с Linux, Git, Bash. Опыт работы с Selenium, BeautifulSoup, Scrapy * Опыт работы с базовыми CV-фреймворками: OpenCV, Pillow * Понимание принципов работы файловых систем и хранения больших объёмов данных * Понимание концепции и принципов организации хранилища данных * Понимание базовых принципов построения распределенных систем хранения и обработки данных Будет плюсом: * Опыт работы с S3-совместимыми хранилищами или другими distributed * storage * Понимание специфики хранения и обработки CV-данных * Знание инструментов версионирования данных (DVC и аналоги) * Понимание особенностей работы с видео (ffmpeg, потоковая обработка).

Условия

* Комфортный современный офис рядом с м. Кутузовская * Гибридный формат работы * Корпоративный спортзал и зоны отдыха * Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * Программа адаптации и помощь руководителя на старте * Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * Вознаграждение за рекомендацию друзей в команду Сбера.