Scala Developer (Hadoop, ETL)

Bell Integrator – крупный системный интегратор страны. Мы являемся аккредитованной ИТ– компанией.

На текущий момент с нами работает более 2500 высококлассных аналитиков, руководителей проектов, разработчиков, тестировщиков и специалистов по сопровождению крупных информационных систем. Bell Integrator активно реализует проекты по всей России, среди наших заказчиков – ведущие системообразующие финансовые, телеком и ритейл компании страны.

Центральный офис Bell Integrator расположен в Москве, представительства – в Санкт-Петербурге, Нижнем Новгороде, Пензе, Саратове, Уфе, Барнауле, Минске (Беларусь).

Проект: 

Мы, команда, активно развивающая аналитические продукты и сервисы для внутренних пользователей и внешних клиентов Экосистемы банка.

В рамках одного из наших направлений мы участвуем в развитии внутреннего продукта – Корпоративное хранилище данных на платформах Hadoop и Greenplum.

Данные используются аналитиками Банка для построения управленческой отчетности, моделирования, data science, обеспечения данными различных автоматизированных процессов.

Используются данные как внутренних систем банка, так и внешних источников (Единый государственный реестр ЮЛ/ИП, база арбитражных дел, портал госзакупок и т.д.).

Используемые инструменты:

для накопления и параллельной обработки больших объемов данных – Hadoop, Greenplum
для управления потоками ETL – Oozie, Airflow, Nifi, также используются скрипты на Bash
для разработки ETL на Hadoop – Scala, Spark, Hive
DevOps – Git, Jenkins, SonarQube

Мы ожидаем:

• Опыт работы со Scala и sbt, стеком технологий Hadoop (HDFS, Hive, Spark версии 2 и выше, spark SQL)
  

Чем предстоит заниматься:

• Разработка ETL потоков на платформе Hadoop (Scala + Spark SQL)
• Поиск возможностей оптимизации, повышение скорости расчета, эффективности использования вычислительных ресурсов
• Повышение стабильности работы приложений, анализ типовых ошибок и возможных рисков, развитие системы логирования, её полноты и информативности для последующей промышленной эксплуатации, при необходимости участие в решении возникающих при эксплуатации инцидентов
• Развитие системы контроля качества, автотестов

Условия:

• Возможность участия в интересном проекте
• Возможность профессионального и карьерного роста в компании;
• Опыт работы в команде профессионалов;
• Уровень заработной платы обсуждается индивидуально.
• Формат работы  - офисный/гибридный в Москве