Data Engineer

Описание

Мы разрабатываем интеллектуальную платформу управления для автоматизации бизнес-процессов в Сбере. Наш продукт - сложное web-приложение с элементами AI. Мы ищем в нашу команду инженера по работе с данными и разработке высоконагруженных приложений.

Обязанности

* написание сложных SQL-процедур, представлений в PostgreSQL * оптимизация производительности запросов и структур хранения данных * разработка и поддержка микросервисов на Python/FastAPI для поставки и обработки данных * Hadoop / оптимизация поставок данных — оптимизация пайплайнов поставки данных в экосистеме Hadoop (HDFS, YARN, MapReduce/Spark) * Docker / Kubernetes — контейнеризация Python-приложений, написание Dockerfile , деплой сервисов в Kubernetes. * участие в code review и документировании в MkDocs.

Требования

* PostgreSQL —DDL/DML, индексирование, EXPLAIN ANALYZE, репликация, логическая и физическая репликации * FastAPI — построение python backend * Hadoop, Spark, MPP базами данных. Будет плюсом опыт работы с: * системами мониторинга: Prometheus, Grafana * Apache Kafka для построения асинхронного взаимодействия * Redis как хеш хранилище * Docker / Kubernetes для контейнеризации приложений * Debezium или CDC (Change Data Capture) для стриминга изменений из PostgreSQL

Условия

* комфортный современный офис * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * программа адаптации и помощь руководителя на старте * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа