Data Engineer

Офисный формат работы в Москве (возможен гибрид 3 дня офис)

Bell Integrator – аккредитованная ИТ-компания и являемся частью большой семьи ГК Softline.
Bell Integrator активно реализует проекты по всей России, среди наших заказчиков – крупнейшие системообразующие финансовые, телеком и ритейл компании страны

Требования:
Практический опыт создания ETL/ELT-решений с помощью Apache NiFi, Talend, Informatica
Глубокое знание реляционных БД (преимущественно PostgreSQL).
Понимание принципов распределенных систем (Hadoop, Spark): уверенная работа с экосистемой Apache — Kafka, HDFS, Hive.
Навыки работы с системами мониторинга: Grafana и Zabbix.

Обязанности:
Проектировать и развивать пайплайны: выстраивать архитектуру потоковой передачи данных по схеме СУБД (PostgreSQL) → Kafka → HDFS
Обеспечивать качество источников: оценивать готовность баз к репликации, валидировать требования заказчиков и гарантировать соответствие схем интеграции.
Оптимизировать производительность: повышать скорость, надежность и отказоустойчивость действующих ELT-процессов в распределенной среде.
Сопровождать инфраструктуру: оперативно выявлять ошибки через системы мониторинга и взаимодействовать с командами владельцев данных.
Миграция уже интегрированных систем-источников с legacy-инструментов репликации на целевой внутренний инструмент репликации (Compute&Storage). Это включает анализ текущих трактов данных, подготовку источников к миграции на новый инструмент, конфигурацию нового инструмента и обеспечение бесшовного переключения потребителей данных.
Оптимизация ядра: Выявление и постановка в бэклог задач на улучшение целевого инструмента, управление конфигурациями пайплайнов через YAML и модификация Kafka-топиков при необходимости.
Поддержка источников: Помощь в подготовке к миграции на целевой инструмент репликации источникам данных.

Условия:
Возможность профессионального и карьерного роста в компании
Возможность поучаствовать в разных проектах;
Опыт работы в распределенной команде профессионалов;
Офисный формат работы в Москве