Data Engineer (Графовая база данных)

Описание

Вы будете работать над одним из ключевых проектов Сбербанка — разработкой современного ситуационного центра кибербезопасности (SOC). Ежедневно SOC обрабатывает более 500 миллиардов событий кибербезопасности, что требует уникальных инженерных решений и глубокой компетенции в работе с большими данными. Цель проекта заключается в создании инструментов графовой аналитики, позволяющей эффективно обрабатывать огромные объемы информации и оперативно реагировать на возникающие угрозы.

Обязанности

### Вам предстоит: * проектирование и реализация надежных и производительных ETL-конвейеров с использованием Apache Airflow * подготовка и очистка данных из различных источников (ClickHouse, HDFS) * организация эффективного процесса выгрузки и загрузки данных в графовые базы данных, такие как Neo4j, DGraph, FastGraph * повышение производительности и отказоустойчивости процессов загрузки данных * участие в развитии архитектуры хранения и обработки данных, улучшение существующих процессов и внедрение лучших практик индустрии.

Требования

### Что для нас важно: * продвинутый уровень владения Python (разработка промышленного кода) * практический опыт работы с Apache Airflow, ClickHouse и HDFS * опыт работы с графовыми базами данных * отличное знание SQL и понимание специфики работы с NoSQL-решениями * понимание принципов оптимизации производительности и масштабируемости систем обработки данных.

Условия

### Мы предлагаем: * комфортный современный офис * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * программа адаптации и помощь руководителя на старте * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.