Data Engineer

Описание

Мы — команда из 10 инженеров, ответственных за разработку и поддержку высоконагруженной внутренней платформы для обработки диалоговых данных LLM и AI агентов. Технологический стек: Обработка данных: Apache Spark, Hadoop (HDFS, YARN) Оркестрация: Apache Airflow Потоковая передача данных: Apache Kafka Кэширование и вычисления: Apache Ignite Логи: ELK Stack (Elasticsearch, Logstash, Kibana) Визуализация: Apache Superset Инфраструктура: CI/CD (BitBucket/Jenkins), k8s, Linux

Обязанности

* разрабатывать, оптимизировать и поддерживать ETL/ELT процессы в Apache Spark для построения витрин данных * интегрировать компоненты платформы с использованием Apache Kafka и Apache Ignite * поддерживать и развивать текущую архитектуру данных, обеспечивать ее отказоустойчивость и производительность * разрабатывать и поддерживать DAG в Apache Airflow * настраивать и поддерживать CI пайплайны для Big Data-сервисы

Требования

* не менее 3 лет опыта коммерческой разработки ETL на Apache Spark (Core, SQL) * практический опыт работы с Apache Airflow и Hadoop (HDFS, YARN) * опыт построения и поддержки CI пайплайнов (Jenkins или аналог) Будет плюсом: * опыт работы с Apache Kafka, Apache Ignite * знание ELK-стека, Apache Superset

Условия

* комфортный современный офис рядом с м. Кутузовская * гибридный формат работы – 1 раз в неделю в офисе * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * ипотека для сотрудников выгоднее до 4% * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.