Администратор Hadoop

Обязанности:

• Администрирование хранилища коробочных сборок Hadoop и Greenplum на базе продуктов Arenadata.
• Решение вопросов в эксплуатации Hadoop, устранение аварий и сбоев.
• Участие в работах по интеграции новых типов данных, и их охлаждении.
• Разработка, реализация и поддержка ETL/ELT процессов.
• Внедрение и поддержка сервиса каталогизации данных.
• Общение с вендорами технологических решений.
• Участие в создании центра компетенций, обучение коллег.

Требования:

• Практический опыт администрирования Hadoop систем, желателен опыт работы с продуктами Arenadata.
• Практический опыт захвата изменения данных (CDC).
• Опыт администрирования и эксплуатации Hive, HDFS, Yarn, Ranger, Spark, Airflow.
• Опыт работы с Zabbix, Prometheus.
• Опыт работы с Docker (Kubernetes).
• Опыт администрирования Ubuntu.
• Желателен опыт в администрировании сервисов Zeppelin, Jupyter Hub.

Условия:

• Формат работы: гибридный (после прохождения испытательного срока возможен удаленный формат).