Data Engineer

Команда: интеграционные среды.

Стек технологий:
СУБД: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive).

Data Stack: Hadoop, S3, Impala, Hive, Spark, Iceberg, Kafka, Elasticsearch.

Языки программирования: Python (Pandas, NumPy, Matplotlib), C#, SQL.

Инструментарий: Git, Jira, Kubernetes.

• Развитие интеграционной среды: разработка потоков подключения метаданных информационных систем к Единому интеграционному слою и витрине DMDC.
• Автоматизация и шаблонизация: создание шаблонов в платформе управления метаданными для обеспечения подключения ключевых типов СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool).
• Разработка инструментов автоматизации: проектирование Python-скриптов для автоматической генерации DDL/DML запросов и Airflow DAG для процессов загрузки и обслуживания данных.
• Поддержка и оптимизация: исправление ошибок существующих потоков, а также разработка Airflow DAG для обслуживания таблиц Iceberg с применением кастомных операторов (оптимизация чтения при наличии значительного количества delete-файлов).
• Модернизация витрины: доработка функциональности витрины DMDC для обеспечения полной поддержки возможностей каталога данных.
• Документирование: подготовка и ведение проектной документации по результатам разработки.

Развитие и обучение

Проекты для крупного бизнеса, внутренние митапы и разговорные клубы английского языка

Забота и поддержка

Служба заботы о сотрудниках и индивидуальное сопровождение каждого коллеги на всех этапах развития в компании. А еще — ДМС со стоматологией и регулярная обратная связь

Комфорт

Работа в аккредитованной IT-компании, зарплата по рынку, техника для работы и человекоцентричный подход, где сотрудник = внутренний клиент компании

Драйвовое комьюнити

Команда прокаченных специалистов, внутренние события и уникальная корпоративная культура с маскотом IT-тигроми поддерживающим комьюнити