Data engineer

Описание

Команда CDO B2C в поиске Data engineer в сфере управления данными и data-продуктами. Наша команда отвечает за управление всеми данными B2C сегмента клиентов Сбера. Мы уже трансформировали подход к управлению данными, построили единый слой детальных данных и продолжаем развивать его актуальность и полноту. Так же перед нами стоят амбициозные задачи построения единого слоя агрегатов и фичей B2C, реализация всего тракта поставки данных в RealTime и внедрения нового стека технологий, что позволит создать единую точку правды для упр. отчетности, моделей и фронтальных систем, а так же капитализировать данные за счет их многократного переиспользования.

Обязанности

* разработка DWH/DataLake/LakeHouse * построение поставки данных в RealTime/NRT/Batch * проведение код-ревью других разработчиков * оптимизация ETL * внедрение новых технологий/новых стеков в существующие решения * повышение актуальности данных * снижение latency доступа к данным * разработка и валидация архитектуры данных.

Требования

* отличное знание SQL (join, CTE, оконные функции, фреймы и др.) * опыт работы с Hadoop, Spark, Iceberg/Paimon, S3 * опыт работы с Kafka и др. Брокерами * опыт работы с оркестраторами (например, Airflow) и CI/CD * опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.) * опыт кратной оптимизации ETL * практическое знание python на уровне разработки ETL * практическое знание java/scala будет преимуществом * практический опыт создания и защиты архитектуры данных будет преимуществом * практический опыт разработки solution-архитектуры data-продуктов будет преимуществом * навыки работы с генеративными AI-моделями; опыт * создания AI-агентов и использования их в работе будет преимуществом * опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов * инструментальное владение AI для анализа, генерации и автоматизации.

Условия

* офисный формат (Поклонная 3к1) * ежегодный пересмотр зарплаты и годовая премия * расширенный ДМС и льготное страхование для семьи * уникальная система обучения Сбера для профессионального и карьерного развития * выгодная ипотека для сотрудников * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера * корпоративная пенсионная программа.