Data Engineer (разработчик DWH)

* Сбор требований с бизнес-заказчиков и анализ источников данных\n* Разработка, реализация и поддержка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink\n* Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок\n* Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю.

В нашей команде тебя ждет:

• Сбор требований с бизнес-заказчиков и анализ источников данных • Разработка, реализация и поддержка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink • Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок • Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю.

Мы ждем тебя, если ты имеешь:

• Общее представление о стеке технологий Lakehouse\nПонимание различия работы между BigData/Lakehouse и с данными обычного размера\nЗнание SQL (индексы, функции, оптимизация, профилирование производительности)\nОпыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.)\nУмение работать с Git (знание команд git pull/commit/push)\nОпыт работы с DBT, Cosmos\nПредставление о работе с Trino\nПонимание устройства Iceberg, форматов данных\nПонимание работы с minio или любого другого хранилища на основе S3\nОпыт использования системами ведения проектов и документации\nЗнания основ программирования (JAVA, Python).

Условия работы

• Гибрид