Senior Data Engineer (B2C)

Описание

Наша задача – построение единого хранилища фичей для моделей прогнозирования продаж розничного бизнеса на базе платформы Hadoop. Мы работаем над проектом по созданию инструмента, позволяющего унифицировать процесс сбора и опромышлевания данных, а так же обеспечить масштабируемость и надежность решения (в планах перевод фичей более 87 моделей на единый фича-стор). Проект предполагает создание витрин как в Batch, так и в NRT (near real time) режиме.

Обязанности

* Разрабатывать алгоритмы и собирать прототипы витрин (batch и real-time), выводить их в промышленную эксплуатацию и вносить изменения, используя внутренние фреймворки разработки * Описывать фичи, готовить проектную документацию * Проводить системное, функциональное и интеграционное тестирование * Разрабатывать и внедрять методики контроля качества данных * Работать с дефектами и инцидентами для устранения технологических проблем в качестве эксперта * Консультировать заказчиков по вопросам логики формирования разработанных предложений

Требования

* Уверенное знание SQL(вложенные запросы, оконные функции, оптимизация запросов) * Уверенное знание Scala или Java * Опыт работы с экосистемой Hadoop(HDFS, HIVE, Apache Spark, Oozie) * Опыт работы с DevOps инструментами- Git, Jenkins, SonarQube * Опыт работы с технической проектной документацией – Бизнес-требования, Технические спецификации на разработку, Архитектура, User guide, Admin guide * Желание развиваться в этой профессиональной области, работать в команде, проявлять инициативу и предлагать решения * Будет плюсом * Знание python и его библиотек работы с данными. * Опыт работы с Apache Flink, Apache Kafka, HBase. * Опыт работы в agile, понимание принципов этой методологии и фреймворков Scrum, Kanban и т.д.

Условия

* Комфортный современный офис рядом с м. Кутузовская * Ежегодный пересмотр зарплаты, годовая премия * Корпоративный спортзал и зоны отдыха * Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * Ипотека для сотрудников выгоднее до 7% * Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * Вознаграждение за рекомендацию друзей в команду Сбера.