Data Engineer/ETL - разработчик

#вакансия #удаленнаяработа #fulltime #remote #Data #Engineer #ETL #Developer #Разработчик #Middle+ #Senior #РФ #TopSelection

Позиция: Data Engineer/ETL - разработчик (Middle+/Senior)🔧

Вилка: до 2000 руб/час или 300.000 - 320.000 руб gross💰

Занятость: Полная

Длительность проекта: до 31.10.2026 (возможно продление)

Локация: РФ

Оформление: Только ИП

Компания: Top Selection

Привет! Меня зовут Анастасия. Я представляю группу компаний Top Selection.

Мы занимаемся трудоустройством IT специалистов на проектную занятость.

На данный момент мы в поисках Data Engineer/ETL - разработчика.✨

📝Задачи:

▪️1. Аналитическая часть

* Cогласование и уточнение требований к доработкам продукта.

* Cогласование и уточнение требований к системе копирования.

* Cогласование и уточнение требований к системе трансформации данных.

▪️2. Разработка

* Разработка архитектуры системы копирования данных.

* Разработка архитектуры системы трансформации данных.

* Настройка тестовой центральной ETL среды и тестовой MPP Greenplum.

* Модуль управления (добавления) заданиями.

* Разработка переноса таблиц staging в конечные таблицы хранилища.

* Процесс создания view и плоских таблиц на основе мета данных для интеграции другими системами.

* Реализация ETL-процесса c копированием таблиц SAS.

* Оптимизация производительности.

* Проведение нагрузочного тестирования.

* Адаптация разработанного функционала для переноса на продуктивный стенд.

* Продуктивизация сборки витрин и создание интеграций с источниками по разработанным концепциям архитектуры.

▪️3. Документация

* Разработка приемо-сдаточной документации.

* Согласование результатов на тестовом стенде.

* Участие в приемо-сдаточных испытаниях.

✅Требования:

▪️Oracle/Hadoop/Teradata, SQL/Python/Spark/Hive, Airflow, Grafana/ SAS

▪️Опыт разработки ETL-процессов с использование инструментов SAS от трех лет

▪️Опыт разработки ETL-процессов для Greenplum.

▪️Опыт участия в проектах по созданию и развитию DWH.

▪️Умение работать с Bash-скриптами.

▪️Опыт промышленной разработки на Python.

▪️Опыт участия в проектах по созданию и развитию Data Vault.