Дата инженер (Цифровой корпоративный Банк)

Описание

Мы команда, которая создает, поддерживает и развивает аналитическую платформу данных на основе клиентской активности в продукте СберБизнес. Мы отвечаем за полный цикл поставки данных начиная с их сбора, агрегирования, преобразования, визуализации и доставки конечному потребителю в удобном ему виде. Так же наша команда отвечает за разработку различных видов автоматизации рутинных процессов и создание AI-агентов и LLM-приложений широкого круга применения. Мы в поиске дата инженера, который готов присоединиться к нашей команде.

Обязанности

* разработка, оптимизация и вывод в промышленную эксплуатацию витрин данных * разработка, поддержка и оптимизация ETL/ELT-процессов на базе Hadoop и Spark * проектирование и реализация пайплайнов загрузки, трансформации и хранения данных * обеспечение надёжности, отказоустойчивости и масштабируемости инфраструктуры поставки и обработки данных.

Требования

* глубокие знания и опыт работы с SQL (написание сложных запросов, оптимизация, работа с разными СУБД) * понимание экосистемы Hadoop (HDFS, YARN, MapReduce, Hive и др.) * опыт работы с Apache Spark (разработка и оптимизация ETL-процессов, обработка больших объёмов данных) * владение языками программирования Scala и/или Java для разработки пайплайнов и обработки данных * опыт использования Apache Airflow для построения и мониторинга сложных data-пайплайнов * практический опыт работы с ClickHouse (настройка, оптимизация, написание запросов для аналитики).

Условия

* комфортный современный офис рядом с м. Кутузовская, формат работы - офис (на время испытательного срока, 3 месяца), после - гибрид (3 дня офис, 2 удаленно) * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.