Разработчик Витрин Данных (Москва)

Bell Integrator – один из ведущих системных интеграторов страны. 

Мы аккредитованная ИТ-компания и являемся частью большой семьи ГК Softline.

Bell Integrator активно реализует проекты по всей России, среди наших заказчиков – крупнейшие системообразующие финансовые, телеком и ритейл компании страны.

Проект: Мы ищем специалиста для развития и поддержки высоконагруженных потоков данных. Проект сфокусирован на тиражировании репликации данных и обработки Big Data.
Мы наполняем КАП(Корпоративную аналитическую платформу) данными АС блока «Риски».

Мы ожидаем:

• Практический опыт создания ETL/ELT-решений с помощью Apache NiFi, Talend, Informatica или самостоятельной разработки решений на Python, SQL, Java
• Глубокое знание реляционных БД (преимущественно PostgreSQL)
• Понимание принципов распределенных систем (Hadoop, Spark): уверенная работа с экосистемой Apache — Kafka, HDFS, Hive
• Навыки работы с системами мониторинга: Grafana и Zabbix.

Чем предстоит заниматься:

• Проектировать и развивать пайплайны: выстраивать архитектуру потоковой передачи данных по схеме СУБД (PostgreSQL) → Kafka → HDFS ↔ Kafka.
• Обеспечивать качество источников: оценивать готовность баз к репликации, валидировать требования заказчиков и гарантировать соответствие схем интеграции.
• Оптимизировать производительность: повышать скорость, надежность и отказоустойчивость действующих ELT-процессов в распределенной среде.
• Сопровождать инфраструктуру: оперативно выявлять ошибки через системы мониторинга и взаимодействовать с командами владельцев данных.
• Миграция уже интегрированных систем-источников с legacy-инструментов репликации на целевой внутренний инструмент репликации (Compute&Storage). Это включает анализ текущих трактов данных, подготовку источников к миграции на новый инструмент, конфигурацию нового инструмента и обеспечение бесшовного переключения потребителей данных.
• Оптимизация ядра: Выявление и постановка в бэклог задач на улучшение целевого инструмента, управление конфигурациями пайплайнов через YAML и модификация Kafka-топиков при необходимости.
• Поддержка источников: Помощь в подготовке к миграции на целевой инструмент репликации источникам данных.

Условия:

• Возможность профессионального и карьерного роста в компании, возможность поучаствовать в разных проектах
• Опыт работы в распределенной команде профессионалов
• Уровень заработной платы обсуждается индивидуально
• Корпоративные скидки на изучение иностранного языка, абонемент в фитнес, образовательные курсы
• Формат работы - в офисе или гибридном формате (Москва)