Data engineer

Мы — Wildberries. Мы — это крупнейший маркетплейс Европы, 30 млн пользователей ежедневно и технологические задачи, у которых нет аналогов. Наша компания стабильно развивается и работает в усиленном режиме: использует современный стек и новейшие технологии, разрабатывает множество новых hi-tech продуктов. Команда ИТ - Банка занимается разработкой внутренних сервисов и приложений.

Обязанности

• работать с данными: чтение, парсинг данных;
• подготовка таблиц с данными для дальнейшего использования backend;
• написание скриптов, sql запросов для реализации алгоритмов в клике и построения дашбордов (bi, superset);
• умение создавать ml модели обучения на данных (будет преимуществом).

Требования

• уверенное владение Python и SQL;
• опыт работы с Spark, Hadoop, Kafka, Clickhouse, S3 (Ceph, Minio);
• опыт написание DAG-ов для Airflow;
• опыт работы с Docker и K8S;
• навыки работы с Linux;
• навыки работы с Git.