Middle Data-инженер (Модель рынков)

Описание

Наш продукт — **единая модель рынков**. Это инструмент для быстрой и удобной визуализации и анализа данных по основным сегментам финансовых услуг Сбербанка. Единая модель собирает всю доступную информацию по банковским услугам, страхованию, инвестиционным продуктам и другим секторам экономики, включая исторические значения и прогнозы развития ключевых направлений рынка. Такой подход позволяет эффективно решать проблему недостатка единых инструментов для оперативного доступа к данным о рыночных тенденциях, долях конкурентов и истории изменений основных показателей.

Обязанности

### **Чем предстоит заниматься:** * разрабатывать и оптимизировать ETL/ELT-процессы с использованием Apache Airflow * проектировать и поддерживать потоковую обработку данных начального уровня с помощью Apache NiFi * создавать сложные SQL-запросы и оптимизировать работу с реляционными БД (PostgreSQL/MySQL) на всех этапах пайплайна * участвовать в проектировании схем данных и витрин для эффективной аналитики * сопровождать существующие и подключать новые источники через Фабрику данных компании (hive, spark) * отвечать за часть процессов, связанных с регулярной (ежедневной/еженедельной) отчётностью, реализованной на JupyterHub (Jupyter Notebooks/Lab).

Требования

### **Мы ожидаем:** * опыт работы с Apache Airflow от 2 лет, умение строить нелинейные DAG * экспертный уровень SQL и понимание внутренних механизмов реляционных СУБД * базовый практический опыт с Apache NiFi (умение строить DataFlow) * уверенное владение Python для автоматизации. Будет плюсом: * опыт с ClickHouse (практический опыт разработки и оптимизации ETL-процессов) *  опыт работы с Qlik Sense * опыт с Apache Kylin для OLAP.

Условия

### **Мы предлагаем:** * формат работы: офис, гибрид * годовой бонус и ежегодный пересмотр * расширенный ДМС с первого дня + стоматологию и льготное страхование для семьи * корпоративный университет Сбера, внутреннюю образовательную платформу, участие в IT-конференциях * офис на Кутузовской с зонами отдыха и спортзалом * льготную ипотеку в Сбере, корпоративную пенсионную программу, подписку СберПрайм+, скидки от партнеров и сервисов группы компаний.