Дата-инженер

Требования:

• Высшее образование.
• Знание SQL (Oracle, Postgres), Hadoop (HDFS, Hive, Impala, Sqoop, Spark) — уровень выше среднего, умение оптимизировать код.
• Знание инструментов обработки и трансформации данных (Spark, Apache Airflow).
• Знание теории баз данных.
• Умение структурировать информацию.
• Знание Python и опыт анализа и обработки данных.
• Знание принципов работы моделей (DS) / опыт работы с машинным обучением (ML).

Обязанности:

• Разработка и оптимизация скриптов и витрин.
• Реализация дата-продуктов.
• Анализ качества данных.
• Разработка проверок качества данных для витрин и их последующий мониторинг.
• Проектирование решений.
• Оптимизация хранения и доступа к большим массивам данных.
• Подготовка технической документации и описание логики расчёта витрин.
• Участие в развитии практики data quality и улучшении процессов работы с данными.
• Создание и сопровождение ETL/ELT-процессов на базе SQL, Python, Spark, Airflow.