Data Engineer в портал

Команда занимается построением озера данных, необходимого для принятия верных бизнес-решений для портала Продавцов Wildberries. Портал Продавцов - личный кабинет селлера, где он отслеживает свои товары, исследует аналитику и управляет процессом продаж. Сейчас мы находимся в поисках Data Engineer.

Обязанности

• Участвовать в разработке data-transfer инструмента, который позволит автоматизировать процесс перегрузки данных с различных источников;
• Формировать озера данных на HDFS;
• Дорабатывать существующие и писать новые Airflow операторы;
• Оптимизировать интеграции со стриминговыми источниками данных (Kafka);
• Формировать витрины для аналитики и поставлять их в ClickHouse;
• Вести процесс покрытия данных контролем качества (DQ).

Требования

• Уверенный опыт программирования на Python (не менее 2-х лет);
• Опыт с hadoop (spark/yarn/hdfs/hive), с apache Airflow / Dagster и со Spark (Pyspark);
• Опыт в оптимизации SQL запросов (индексы, партицирование, шардирование и тд);
• Опыт работы с MPP СУБД (ClickHouse/GreenPlum/Vertica).
• Будет плюсом:
• Опыт работы в DBT;
• Опыт развертывания и ведения каталога данных (OpenMetaData);
• Понимание концепций моделирования хранилищ данных.