Data engineer ( Рекламная платформа)

Описание

Мы ищем Data engineer  в команду развития специализированных витрин данных.

Обязанности

Чем предстоит заниматься: * разрабатывать и поддерживать витрины данных в облачной экосистеме * проектировать и улучшать архитектуру системы * разрабатывать и оптимизировать пайплайны обработки данных/ETL на Python / Scala, а также помогать другим командам * внедрять контроль качества данных (SODA).

Требования

* высшее образование * опыт в аналогичной роли от 3 лет * понимание принципов модели распределенных вычислений * опыт в поиске, обработке и построении витрин данных при помощи Spark и SQL * опыт промышленной разработки на стеке Scala/Java/Python * знание и опыт использования инструментов по обработке больших данных (Spark, Trino, Polars и др.) * опыт работы со стримингом (Flink, Spark Streaming, Kafka и др.) * хорошие знания SQL, опыт работы с одной из реляционной БД - Oracle/PostgreSQL/mySQL/MS SQL Server * опыт работы с S3, HDFS * знание любого оркестратора (AirFlow/Oozie/Dagster/Argo Workflows) * понимание подходов к организации разработки (CI/CD, DevOps). Будет плюсом: * опыт работы с Iceberg * опыт работы с DataHub/OpenMetaData * опыт работы с SODA/GreateExpectation * опыт работы с ClickHouse * опыт работы с Kubernetes * навыки работы с генеративными AI-моделями * опыт создания AI-агентов и использования их в работе будет преимуществом.

Условия

* офис рядом с метро Маяковская * гибридный формат работы * годовой бонус и ежегодный пересмотр * расширенный ДМС с первого дня + стоматология и льготное страхование для семьи * корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях * 90 дней удаленной работы из любого региона РФ * льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.