Data Engineer

Data Engineer

Общие требования

Опыт работы инженером данных или в смежных областях от 5 лет

Технические требования ниже

TBD

Требования к кандидату

опыт работы с фреймворками обработки данных (Apache Spark, Apache Flink, Apache NiFi, Apache Airflow);

понимание принципов ETL, опыт работы с ETL-процессами и инструментами;

хорошие знания SQL (на уровне относительно сложных запросов) и опыт работы с реляционными СУБД;

знание архитектуры хранилищ данных: DWH, Data Lake (Greenplum, Hadoop (HDFS, Hive), Clickhouse, Trino, S3)

понимание принципов Data Governance и Data Quality;

понимание основных типов интеграций и взаимодействия систем;

навыки работы с REST API и интеграцией внешних источников;

навыки работы с Git.

Будет плюсом:

знание и опыт программирования на Python/Java (+Spring)/Groovy/Scala;

опыт работы с нереляционными базами данных;

опыт работы с инструментами CI/CD (Jenkins, GitLab pipelines, TeamCity и пр.);

опыт работы с Docker, Kubernetes;

опыт работы с облачными системами.