Разработчик ETL (scala)

Описание

Команда «Гео и графы» кластера «AI360» корпоративного блока Сбербанка. Команда функционирует в московском офисе и в Санкт-Петербурге. Команда развивает несколько направлений: витрины данных о связанности ЮЛ, клиентские данные ЮЛ, транзакционные витрины данных, графы связей ЮЛ, геовитрины по данным ЮЛ. Все витрины используются для построения моделей в различных бизнес-блоках Банка.

Обязанности

* участие в сложных интеграционных проектах в роли разработчика * разработка, проектирование, тестирование потоков данных, алгоритмов и обработки данных в Hadoop/GreenPlum на Scala/Spark/SQL * участие во внедрении моделей на основе ML алгоритмов * оптимизация и настройка производительности ETL-процессов * участие в разработке фреймворка на Scala.

Требования

* наличие практического опыта работы с Hadoop (Hive, Impala, sqoop, oozie, HDFS, YARN) или GreenPlum, понимание парадигмы map-reduce и алгоритмов работы Spark * опыт работы с реляционными СУБД (Oracle, MS/SQL), навыки оптимизации запросов * опыт программирования на Scala/Java/Python *  фундаментальные знания принципов построения распределенных систем хранения и обработки данных * знание Spark. Будет плюсом: * опыт работы с ETL-инструментами (Informatica BDM, ODI, Pentaho) и BI-средствами * опыт работы с REST API * опыт работы с CI/CD * опыт работы с NoSQL базами данных (HBase, Cassandra) * опыт работы с Unix shell * знания предметной области «Банки и финансы».

Условия

Что мы предлагаем: • удобный офис в СПб на ул. Уральской, дом 1 (с бесплатной развозкой от метро) • возможность работать частично удалённо после согласования с руководителем • регулярный пересмотр заработной платы и возможность получения годовой премии • уютный корпоративный спортзал и пространства для отдыха • доступ к более чем 400 образовательным программам СберУниверситета • программу адаптации и поддержку наставника на первых этапах работы • расширенную медицинскую страховку (ДМС) и выгодные условия страхования для членов семьи • ипотечные программы для сотрудников • бесплатные подписки СберПрайм+ и бонусы партнёров • вознаграждения за рекомендации кандидатов.