Разработчик ETL-пайплайнов (команда DataTEAM)

Описание

Команда DataTEAM – занимается формированием витрин и репликацией данных в Корпоративной Аналитической Платформе (КАП), для целей поставки данных и формирования отчетности. Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

* проектирование, настройка и поддержка ELT-пайплайнов: СУБД(PostgreSQL) - Kafka - HDFS - Kafka * оценка и валидация готовности источников данных к репликации, обеспечение их соответствия требованиям интеграции. * оптимизация производительности и сопровождение действующих ELT-процессов, повышение их надёжности и эффективности. * валидация требований к загрузке данных, взаимодействие с заказчиками и источником

Требования

* опыт работы с ETL-инструментами (Apache NiFi, Talend, Informatica, SSIS) или языками программирования (Python, SQL, Java) для создания и поддержки ETL-пайплайнов. * опыт работы с реляционными базами данных (PostgreSQL, Oracle) * понимание принципов работы распределенных систем (Hadoop, Spark) и умение применять их для обработки больших данных, знакомство с продуктами Apache для обработки больших данных (Kafka, HDFS, Hive) * умение работать с системами мониторинга (Grafana, Zabbix) для мониторинга ETL-процессов и отслеживания их состояния и оперативного выявления ошибок

Условия

* комфортный современный офис рядом с м. Кутузовская * ежегодный пересмотр зарплаты и годовая премия * уникальная система обучения Сбера для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.