Data engineer

Описание

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Ждем именно тебя!  Мы ищем инженера по созданию витрин данных, который присоединится к нашей команде и займётся разработкой и поддержкой витрин данных на базе Hadoop. Вам предстоит участвовать в полном цикле разработки, начиная с анализа требований и заканчивая реализацией и поддержкой решений. Мы ожидаем, что кандидат обладает знаниями в области обработки больших данных, владеет Java/Scala и и Python, а также умеет работать с экосистемой Hadoop и Spark.

Обязанности

* проектирование, разработка и сопровождение витрин данных на базе Hadoop * оптимизация производительности существующих витрин данных * участие в разработке ETL-процессов для загрузки данных в витрины * поддержка и мониторинг работы витрин данных * взаимодействие с бизнес-пользователями для понимания их потребностей и перевода их в технические требования * взаимодействие с командами разработки и дата-аналитики, по вопросам сбора, обработки и хранения данных * разбор инцидентов качества данных, развитие автоматизированных тестов (Data Quality) * документирование разработанных решений.

Требования

* практический опыт в разработке витрин данных, выстраивании ETL-процессов  * уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности), готовность к созданию инструментов для нужд инфраструктуры и разработки * опыт работы с Hadoop (HDFS, YARN, Hive) и Spark * знание Java/Scala и опыт разработки на нём * опыт разработки на Python * понимание инструментов и технологий Big Data * знание принципов построения распределённых систем хранения и обработки данных * опыт обработки и миграции больших объёмов данным между различными источниками * опыт работы с системами контроля версий (Git). **Будет плюсом:** * опыт работы с Kafka * опыт работы с CI/CD инструментами (Jenkins, GitLab CI). * базовые знания Docker и иных технологий контейнеризации. * опыт работы с системами Unix (bash) * навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.

Условия

* гибридный/офисный формат работы (на период испытательного срока) * годовой бонус и ежегодный пересмотр * расширенный ДМС с первого дня + стоматология и льготное страхование для семьи * корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях * офис на Кутузовской с зонами отдыха и спортзалом * 90 дней удаленной работы из любого региона РФ (не применимо для сопровождения) * льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.