Data Engineer

Описание

Мы — амбициозная команда, которая занимается развитием BI-отчетности, автоматизацией процессов регистрации инцидентов операционного риска и подготовкой данных для ML моделей. Мы создаём инновационные продукты, которые повышают эффективность и прозрачность бизнеса. Используемые технологии и инструменты: ·      Основные технологии: Airflow, PostgreSQL, Kafka, Superset, Hadoop, Spark ·      Языки программирования и инструменты: Python, Spark, SQL ·      Системы управления кодом и CI/CD: BitBucket (Git), Jenkins ·      Управление задачами и документацией: Jira, Confluence ·      Работа по методологии Agile

Обязанности

Чем предстоит заниматься: * проектирование архитектуры и модели витрин данных * разработка и оптимизация ETL-процессов для загрузки и обработки данных в DWH * создание процессов мониторинга, проверок качества данных и автотестов разработанного функционала * ведение технической документации по потокам данных.

Требования

Какие навыки и опыт ожидаем от тебя: * опыт разработки автоматизированных ETL-потоков (желательно в Airflow и/или Hadoop (Spark)) или схожего функционала от 1 года * продвинутый уровень владения Python и SQL * понимание принципов работы баз данных, обработки больших данных и концепций непрерывной интеграции и доставки (CI/CD) * высшее образование и широкий технический кругозор * проактивность и ответственность за конечный результат * английский язык на уровне чтения документации Будет преимуществом: * навыки работы с Flink, знание Java.

Условия

регулярное обучение hard и soft skills в нашем корпоративном университете ·      Большое количество различных митапов и хакатонов с возможностью выступить на мероприятиях в качестве спикера ·      Льготная ипотека от Сбера для сотрудников ·      Прекрасный ДМС с лучшими клиниками города Москвы ·      Работа в лучшем офисе страны ·      Регулярный пересмотр заработной платы в зависимости от результатов ·      Бесплатный фитнес и тренажерный зал