Data Engineer DWH

Мы работаем с большими объёмами данных и должны обрабатывать их быстро и точно. Для этого мы создаём масштабную, безопасную и удобную аналитическую платформу. Нам нужны дата-инженеры для разработки DWH.

Какие задачи вас ждут

Доработка платформы
Вы будете развивать внутреннюю платформу управления данными: автоматизировать рутинные задачи (деплой простых решений и мониторинг), а также улучшать инструменты самообслуживания для аналитиков. Вам предстоит работать с Kafka, ClickHouse, Spark Streaming и внутренними инструментами разработки.

Создание витрин данных
Вы будете разрабатывать, оптимизировать и поддерживать витрины данных с учётом требований бизнеса и аналитиков. Нужно проектировать структуру данных, реализовывать ETL-пайплайны с использованием Python, Spark, Greenplum и Airflow и обеспечивать их эффективную работу. Вам предстоит решать задачи разного уровня сложности: от простых трансформаций до обработки больших объёмов данных с нетривиальной бизнес-логикой.

Оптимизация ETL-процессов
Вы будете оптимизировать ETL-процессы, чтобы повысить производительность и снизить затраты. Нужно проанализировать и устранить проблемы: перекос данных в Greenplum, долгие джобы, неэффективные партиции, а также настроить распределение ресурсов в кластере.

Мониторинг качества данных
Вы будете разрабатывать и поддерживать систему мониторинга качества данных, включая DQ-проверки и алерты на аномалии. Также вам предстоит анализировать и устранять сбои в поставке данных (пробелы, дубли, некорректные значения) и взаимодействовать с аналитиками и бизнес-пользователями, чтобы повысить прозрачность поставки данных.

Мы ждем, что вы

• Пишете код на Python
• Работали с базами данных SQL и NoSQL
• Знакомы с брокерами сообщений (Kafka, RabbitMQ или чем-то подобным)
• Работали с инструментами Hadoop

Будет плюсом, если вы

• Работали со Spark или Spark SQL
• Работали с Greenplum
• Умеете разрабатывать DAG для Airflow