Data Engineer (SberData)

Описание

Сбер обладает одним из крупнейших в стране хранилищ данных — объем данных банка превысил 250 ПБ. За секунду с нашими данными совершается около пятисот тысяч транзакций. Управляет данными Сбера SberData. Ключевые функции департамента — это управление данными, создание и развитие технологического стека SberDataPlatform, а также предоставление сервисов по работе с данными: Супермаркет данных, Лаборатория данных, SberDataExchange и еще около сотни решений.

Обязанности

* проектирование и реализация ETL/ELT-пайплайнов для загрузки и обработки данных (включая DAG в Apache Airflow) * оптимизация и сопровождение процессов обработки больших данных (Apache Spark, Apache Flink) * интеграция источников данных (базы данных, API, файловые хранилища) в единую pipeline-архитектуру * настройка и администрирование Airflow для оркестрации workflows * участие в разработке архитектуры хранения и обработки данных (включая Hadoop-экосистему) * документирование решений и формирование базы знаний.

Требования

* опыт разработки ETL/ELT-процессов (реализация, оптимизация, мониторинг) * профильное владение Python (включая библиотеки для работы с данными) * практический опыт с распределенными вычислениями: Apache Spark (PySpark/Scala) или Apache Flink * базовые знания Scala (или готовность к изучению) * глубокое понимание SQL и опыт работы с РСУБД (PostgreSQL, MySQL и др) * знание Apache Airflow (создание DAG, настройка сенсоров, операторов) * навыки администрирования Linux (развертывание, мониторинг, troubleshooting).

Условия

* комфортный офис рядом с м. Тульская, возможен гибрид * стабильный оклад и социальная поддержка сотрудников * расширенное ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких * льготные условия кредитования для каждого сотрудника * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров: Купер, Самокат, Еаптека, Мегамаркет * корпоративная пенсионная программа * корпоративное обучение за счет компании * официальное оформление с первого дня * корпоративный спортзал и скидки в спортзалы-партнеры.