Дата-инженер (стажёр) для DWH в Финтех

Мы ищем новоиспечённого дата-инженера, который будет развивать хранилище данных (DWH) для Финтеха. У нас — одно из крупнейших хранилищ банковских данных в облаке в России. В ближайший год мы ожидаем роста объёма данных в 10 раз и хотим построить платформу, способную эффективно и качественно обрабатывать петабайты данных.

Какие задачи вас ждут

Разработка и поддержка платформенных инструментов для построения DWH
Вы будете разрабатывать и поддерживать инструменты для построения DWH. Понадобится создавать масштабируемую и надёжную архитектуру сервисов обработки данных, разрабатывать удобные и эффективные инструменты для построения таких сервисов, обеспечивать высокое качество и целостность данных, а также оптимизировать производительность.

Разработка и поддержка инфраструктуры для обработки данных
Вам предстоит проектировать и оптимизировать облачную инфраструктуру для обработки данных. Вы будете разрабатывать эффективные пайплайны для развёртывания сервисов обработки данных в облаке, анализировать нагрузку на сервисы и оптимизировать их работу, повышать качество сервисов и сокращать время обработки данных.

Взаимодействие с другими командами
Важно активно взаимодействовать с разработчиками, аналитиками, продакт-менеджерами и другими специалистами: собирать требования к данным и сервисам обработки данных и реализовывать их в рамках DWH.

Мы ждем, что вы

• Знаете в теории Airflow, Spark
• Знаете в теории технологии для хранения и передачи данных, включая S3, Greenplum, PostgreSQL, ClickHouse, Oracle, Kafka
• Знакомы с Apache Hudi
• Хорошо владеете SQL (опционально — YQL)
• Владеете Python

Будет плюсом, если вы

• Работали с инструментами выше (Airflow, Spark и т. д.)
• Работали с сервисами Yandex Cloud, включая Yandex Data Processing, Yandex DataSphere, Yandex DataLens, Yandex Data Transfer
• Работали со стриминговыми технологиями, включая Spark Streaming, HoodieDeltaStreamer, Debezium