Data инженер

Описание проекта и команды: крупная ритейл компания.

Обязательные требования

- Владение одним из языков программирования (Java, Groovy), знание принципов ООП, умение читать чужой код;

- Сборка проекта, компиляция и деплой в Rancher (Docker);

- Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData;

- Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов);

- Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.);

- Умение работать с Git в консоли;

- Знание особенностей работы ETL-инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.);

- Опыт работы с Hadoop;

- Понимание устройства HDFS, форматов данных;

- Опыт работы с Hive или любым другим хранилищем на основе Hadoop;

- Опыт использования систем ведения проектов и документации;

- Умение работать с архитектурными схемами;

- Понимание принципов построения и хранения данных - DWH и DataLake.

Дополнительные требования

- Желателен опыт администрирования Unix/Linux или Hadoop (HDFS, Yarn, Ranger, Spark, Zookeeper), Zabbix, Ansible.

Задачи на проекте

- Самостоятельная разработка, реализация и поддержка интеграционных решений на стеке технологий, принятых в команде (Java, Groovy, Apache Nifi, Airflow);

- Определение стека технологий для конкретных проектов и задач;

- Решать технически сложные задачи, которые не могут решить другие инженеры в команде;

- Оперативно реагировать на информацию о проблемах в зоне ответственности, выполнять задачи в установленные сроки;

- Разрабатывать и контролировать актуальность документации по взаимодействию конфигурационных единиц платформы больших данных;

- Предоставлять отчеты о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством;

- Контроль качества интеграционных решений с последующим созданием задач/дефектов для рефакторинга;

- Определять технологическую стратегию развития проекта или продукта, работать на перспективу;

- Выстраивать процессы (например, CI/CD, код-ревью), внедрять и развивать инженерные практики.

Этапы отбора

1. Техническое интервью

2. Интервью с ПО