Data Engineer

Описание

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Мы, команда офиса CDO B2C, строим платформу данных, которая обеспечивает быстрый, надежный и качественный обмен информацией между Сбером и компаниями-партнерами. Это основа для персонализированных предложений умных продуктов и эффективных бизнес-решений. Наша команда - Команда развития Платформы в офисе CDO B2C ищет Инженера данных для реализации задач по загрузке, аналитике и трансформации данных.

Обязанности

* проектирование и реализация ETL/ELT-пайплайнов для загрузки и обработки данных (включая DAG в Apache Airflow) * оптимизация и сопровождение процессов обработки больших данных (Apache Spark, Apache Flink) * интеграция источников данных (базы данных, API, файловые хранилища) в единую pipeline-архитектуру * настройка и администрирование Airflow для оркестрации workflows * участие в разработке архитектуры хранения и обработки данных (включая Hadoop-экосистему) * документирование решений и формирование базы знаний

Требования

* высшее техническое образование * опыт разработки ETL/ELT-процессов (реализация, оптимизация, мониторинг) * профильное владение Python (включая библиотеки для работы с данными) * практический опыт с распределенными вычислениями: Apache Spark (PySpark/Scala) или Apache Flink * базовые знания Scala (или готовность к изучению) * глубокое понимание SQL и опыт работы с РСУБД (PostgreSQL, MySQL и др.) * знание Apache Airflow (создание DAG, настройка сенсоров, операторов) * навыки администрирования Linux (развертывание, мониторинг, troubleshooting) **Будет преимуществом:** * опыт с Hadoop (HDFS, YARN, Hive) * знание облачных платформ (AWS S3/Glue, GCP BigQuery, Azure Data Factory) * навыки автоматизации (Ansible, Terraform) * опыт работы со стриминговыми данными (Kafka, Debezium)

Условия

* офисный формат работы (Москва, Санкт-Петербург) * годовой бонус и ежегодный пересмотр * расширенный ДМС с первого дня + стоматология и льготное страхование для семьи * корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях * льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров.