Data Engineer на проекте банка

Требования к опыту и навыкам

• Опыт построения витрин данных.
• Технологический стек: SQL, Python, Apache Iceberg (обязательно!), Spark, Hadoop/S3/S3-like, Apache Airflow, Parquet.
• Базовый опыт работы с реляционными СУБД.
• Опыт работы с Kafka.
• Git, CI/CD.
• XML, JSON.
• Навыки системного анализа, тестирования.
• Навыки работы с Jira + Confluence.

Задачи

• Анализ существующих решений.
• Миграция витрин со стека Hadoop (Hive, Oozie, Spark 2.4, Impala) на стек Iceberg + Spark 3.5 + Airflow, реализация недостающих для витрин реплик с источников с помощью кодогенераторов.
• Переработка решений на указанном стеке с помощью готовых кодогенераторов, иногда разработка с нуля по шаблонам.
• Наполнение документаций по разработанным решениям.