Ведущий инженер данных

В управляющую компанию Холдинга требуется ведущий Data Engineer для участия в создании корпоративной платформы данных и аналитики. Предстоит реализовать внедрение корпоративного хранилища данных, интеграцию информационных систем дочерних обществ и построение единого аналитического контура. Основной объем работ связан с практическим внедрением платформы, настройкой компонентов инфраструктуры и последующим развитием аналитического контура.

Основные задачи:
• разработка и внедрение корпоративного хранилища данных (DWH)
• Опыт анализа внутренней структуры информационных баз 1С (регистров, документов, справочников и метаданных), разработки механизмов извлечения данных (SQL, язык запросов 1С, OData, REST API) и построения процессов загрузки данных в корпоративное хранилище данных.
• реализация ETL-процессов и интеграций с 1С, Bitrix24, REST API и другими источниками данных
• разработка структуры слоев STG/DWH/VD
• внедрение и сопровождение Apache Airflow
• разработка SQL-процедур, представлений и механизмов загрузки данных
• настройка взаимодействия Power BI с корпоративным хранилищем данных
• оптимизация производительности SQL Server и PostgreSQL
• участие в развитии платформы данных и внедрении новых источников информации.

Требования:
• Microsoft SQL Server
• PostgreSQL
• Apache Airflow
• Python
• Docker
• Power BI
• SSAS
• 1С
• Git