Senior Data Engineer в команду DataLake

Описание

В нашем трайбе SberWorks создается новая команда, которая займется разработкой и сопровождением отдельного внутреннего компонента-хранилища данных (Data Lake) в рамках новой платформы Productivity Platform Этот компонент станет основой для хранения всех данных инструментов, входящих в платформу, и будет использоваться для построения аналитики производственного процесса, обучения AI ассистентов и передачи подготовленных витрин с данными потребителям Хранилище данных (Data Lake) — "кровь" платформы, и ваша роль в этом проекте будет ключевой! Стек технологий проекта: Python, Flink, Airflow, Hadoop (Hive), Kafka, Postgres

Обязанности

* разработка PyFlink пайплайнов для обработки событий в NRT режиме (в том числе от Debezium) * написание AirFlow DAG для построения агрегированных витрин с использованием Spark * обеспечение бесперебойной работы поставки данных и в целом DataLake. Наша задача — гарантировать стабильную и эффективную работу всей системы, минимизируя риски простоя и обеспечивая высокий уровень доступности данных

Требования

* уверенно владеешь Python3 * обязателен опыт с потоковой обработкой данных/ Stream processing * понимаешь цикл разработки - от постановки задачи до выкатки на прод * умеешь тестировать свой код (например, с помощью PyTest) и проводить ревью кода и уверенно знаешь SQL * знаешь шаблоны проектирования и умеешь их применять * навыки работы с генеративными AI-моделями: опыт создания AI-агентов и использования их в работе будет преимуществом

Условия

* cовременный комфортный офис рядом с м. Кутузовская * гибридный график после испытательного срока * ежегодный пересмотр зарплаты и годовая премия * более 400 образовательных программ СберУниверситета. Возможность постоянно совершенствоваться и развивать профессиональные навыки. * программа адаптации и помощь руководителя на старте. Мы поможем вам быстро влиться в коллектив и начать продуктивную работу * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа. Забота о вас и ваших близких — важный аспект нашего сотрудничества * корпоративный спортзал и зоны отдыха * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера. Привлекая новых талантливых специалистов, вы можете заработать дополнительное вознаграждение