Дата-инженер (Scala)

Наша команда создает ключевой продукт для аналитики Сбера — прикладную аналитическую платформу B2C. Мы помогаем сотням команд внутри экосистемы быстро создавать надежные аналитические витрины на облаке данных, чтобы глубже понимать клиентские пути и формировать персонализированные предложения.

Мы ищем Senior Data Engineer, который будет напрямую влиять на архитектуру и развитие этого стратегического инструмента. Вы будете создавать решения, которыми ежедневно пользуются десятки аналитиков и дата-инженеров.

Вам предстоит

• Участвовать в проектировании и развитии архитектуры фреймворка для построения batch- и streaming-витрин.
• Разрабатывать ядро платформы и ее компоненты (оркестрация, метаданные, Data Quality-фреймворк) на Scala/Java.
• Создавать и оптимизировать абстракции и API (включая RESTful), которые упростят работу с данными для других команд.
• Проводить производительность и масштабируемость платформы на больших объемах данных (петабайты).
• Тесно взаимодействовать с пользователями платформы (аналитиками, дата-инженерами из бизнес-команд) для сбора требований и обратной связи.
• Менторить младших разработчиков.

Требования

• Глубокое знание Scala или Java, SQL, Bash.
• Опыт с Apache Spark (обязательно). Опыт с Flink, Kafka, Iceberg или аналогичными.
• Понимание DWH/Data Lake, ETL/ELT-процессов, SCD, Data Quality.
• Опыт проектирования отказоустойчивых и масштабируемых систем, понимание SOLID, опыт написания тестов (unit, integration).
• Опыт кросс-функционального взаимодействия, принятия архитектурных решений, наставничества.

Будет преимуществом

• Опыт с Hadoop-экосистемой (HDFS, YARN, Hive).
• Знание Trino/Velox.
• Опыт работы с микросервисной архитектурой и REST API.
• Опыт с ClickHouse, Kubernetes, S3.
• Знание Python.

Условия

• Работа в офисе по адресу г. Москва, Кутузовский проспект 32к1.
• Годовой бонус и ежегодный пересмотр.
• Расширенный ДМС с первого дня + стоматология и льготное страхование для семьи.
• Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях.
• Офис на Кутузовском проспекте 32 с видом на набережную, зонами отдыха и спортзалом.
• Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.