Инженер данных (Hadoop)

Описание

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Ждем именно тебя! Мы – новая команда в Блоке «Развитие клиентского опыта B2С, и мы ищем инженера данных, который присоединится к нашей команде и займётся разработкой и поддержкой витрин данных на базе Hadoop. Вам предстоит участвовать в разработке базовых и специальных витрин данных в Едином ПКАП B2C, готовить датасеты для обучения моделей в FeatureStore B2C, разрабатывать витрины данных на Hadoop в ПКАПе команды, реализовывать реплики в КАП Первичные данные.

Обязанности

* Проектирование, разработка и сопровождение витрин данных на базе Hadoop; * Участие в разработке ETL-процессов для загрузки данных в витрины; * Поддержка и мониторинг работы витрин данных; * Взаимодействие с командами разработки и системными/дата-аналитиками по вопросам сбора, обработки и хранения данных; * Разбор инцидентов качества данных, развитие автоматизированных тестов (Data Quality); * Документирование разработанных решений.

Требования

* Практический опыт в разработке витрин данных, выстраивании ETL-процессов; * Уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности), готовность к созданию инструментов для нужд инфраструктуры и разработки; * Опыт работы с Hadoop (HDFS, YARN, Hive) и Spark; * Знание Java/Scala и опыт разработки на нём; * Опыт разработки на Python; * Понимание инструментов и технологий Big Data; * Знание принципов построения распределённых систем хранения и обработки данных; * Опыт обработки и миграции больших объёмов данным между различными источниками; * Опыт работы с системами контроля версий (Git); * Навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом; * Опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки. **Будет плюсом:** * Опыт работы с Kafka; * Опыт работы с CI/CD инструментами (Jenkins, GitLab CI); * Базовые знания Docker и иных технологий контейнеризации; * Опыт работы с системами Unix (bash).

Условия

* Офисный формат работы (опционально) * Годовой бонус и ежегодный пересмотр * Расширенный ДМС с первого дня + стоматология и льготное страхование для семьи * Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях * Офис на Кутузовской с зонами отдыха и спортзалом * 90 дней удаленной работы из любого региона РФ (не применимо для сопровождения) * Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.