Team Lead Data Engineer (Аналитическая платформа Блока Риски)

Описание

Команда реализует важнейшие проекты по управлению большими данными и обеспечивает возможность для работы с данными большому количеству пользователей (data engineer, data science, data analyst) для решения бизнес-задач. Основная задача состоит в улучшении существующей инфраструктуры путем активного внедрения новых технологии, практик и решений для эффективной обработки и хранения данных обеспечивая при этом необходимую надежность и доступность. Активно развивается направление на базе ClickHouse в качестве инструмента Ad-hoc аналитики, обеспечивающего высокую производительность и NRT-обработку данных.

Обязанности

* масштабировать и поддерживать инфраструктуры хранения и обработки данных в объёме терабайтов ежедневных поступлений * создавать и поддерживать решения на базе ClickHouse * интегрировать ClickHouse с существующими сервисами и инструментами экосистемы данных (Greenplum, Hadoop, Kafka, Flink).. * оптимизировать производительность системы и решение вопросов утилизации ресурсов * настраивать и сопровождать ETL-процессы, организовывать контроль целостности и точности данных * коммуницировать с заинтересованными сторонами и внутренними потребителями данных.

Требования

* опыт работы с ClickHouse, глубокое понимание особенностей её функционирования и способов повышения производительности * практический опыт разработки и поддержки решений на основе больших данных (DWH объемом >1PB) * опыт интеграции и синхронизации разнородных баз данных (ClickHouse + Greenplum) * владение инструментарием работы с большими данными: Hadoop, Spark, Kafka, Flink, Trino * опыт работы с оркестраторами и процессами ETL (Airflow, другие оркестраторы). * понимание принципов построения микросервисной архитектуры и опыт успешной интеграции новых компонентов в инфраструктуру.

Условия

* график работы- гибрид * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * ипотека для сотрудников выгоднее до 7% * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.