Data Engineer

Data Engineer (опыт Airflow обязателен)

В новую цифровую платформу с большим количеством интеграций ищем Data Engineer . Опыт с ETL Apache Airflow от 3 лет обязателен!

Обязанности:

• Написание новых Dags в Airflow для интеграции с внешними источниками. Формат- API у источнику или парсинг на источнике
• Поддержка существующих Dags в Airflow -оптмизация и рефакторинг
• Формирование таблиц для BI системы из внутренних источников данных
• Мониторинг и обработка ошибок в существующих интеграциях
• Работа по Data Quality загружаемых данных
• Работа с PostgreSQL
• Работа с шиной сообщений (NATS) для интеграции с внешними системами
• Участие в выработке технических решений по ETL , декомпозиция бизнес и системных требований

​​​​Требования:

• Написание новых Dags в Airflow для интеграции с внешними источниками. Формат- API у источнику или парсинг на источнике
• Поддержка существующих Dags в Airflow -оптмизация и рефакторинг
• Формирование таблиц для BI системы из внутренних источников данных
• Мониторинг и обработка ошибок в существующих интеграциях
• Работа по Data Quality загружаемых данных
• Работа с PostgreSQL
• Работа с шиной сообщений (NATS) для интеграции с внешними системами
• Участие в выработке технических решений по ETL , декомпозиция бизнес и системных требований

• Удаленный формат работы
• Живой продукт с большим количеством интеграций (внешние площадки, агрегаторы)