Data инженер (со знанием Scala)

Описание

Наша команда создает ключевой продукт для аналитики Сбера — Прикладную аналитическую платформу B2C. Мы помогаем сотням команд внутри экосистемы быстро создавать надежные аналитические витрины на Облаке Данных, чтобы глубже понимать клиентские пути и формировать персонализированные предложения. Мы ищем сильного Data Engineer, который будет напрямую влиять на архитектуру и развитие этого стратегического инструмента. Вы будете создавать решения, которыми ежедневно пользуются десятки аналитиков и дата-инженеров.

Обязанности

* участвовать в проектировании и развитии архитектуры фреймворка для построения batch- и streaming-витрин. * разрабатывать ядро платформы и ее компоненты (оркестрация, метаданные, Data Quality-фреймворк) на Scala/Java. * создавать и оптимизировать абстракции и API (включая RESTful), которые упростят работу с данными для других команд. * проводить производительность и масштабируемость платформы на больших объемах данных (петабайты). * тесно взаимодействовать с пользователями платформы (аналитиками, дата-инженерами из бизнес-команд) для сбора требований и обратной связи. * менторить младших разработчиков.

Требования

* глубокое знание Scala или Java, SQL, Bash. * опыт с Apache Spark (обязательно). Опыт с Flink, Kafka, Iceberg или аналогичными * понимание DWH/Data Lake, ETL/ELT-процессов, SCD, Data Quality * опыт проектирования отказоустойчивых и масштабируемых систем, понимание SOLID, опыт написания тестов (unit, integration) * опыт кросс-функционального взаимодействия, принятия архитектурных решений, наставничества будет преимуществом (желательные навыки): * опыт с Hadoop-экосистемой (HDFS, YARN, Hive) * знание Trino/Velox * опыт работы с микросервисной архитектурой и REST API * опыт с ClickHouse, Kubernetes, S3 * знание Python.

Условия

* работа в офисе по адресу г. Москва, Кутузовский проспект 32к1 * годовой бонус и ежегодный пересмотр * расширенный ДМС с первого дня + стоматология и льготное страхование для семьи * корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях * офис на Кутузовском проспекте 32 с видом на набережную, зонами отдыха и спортзалом * льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.