Team lead команды Лаборатории данных

Описание

Наша команда активно развивает крупнейшую платформу управления данными в стране, предоставляя тысячам специалистов различных профилей (data engineer, data science, data analyst) уникальные возможности работы с данными для реализации масштабных бизнес-задач. Сейчас перед нами стоит амбициозная цель: качественно обновить и усилить инфраструктуру хранения и обработки данных, внедрив новые эффективные практики и надежные технологии для обеспечения высочайшей производительности и доступности наших сервисов. Активно развивается направление на базе ClickHouse в качестве инструмента Ad-hoc аналитики, обеспечивающего высокую производительность и NRT-обработку данных.

Обязанности

* управление продуктом и проектной деятельностью: приоритизация и управление бэклогом команды, координация взаимодействия со смежными командами, обеспечение удовлетворённости заказчиков через управление ожиданиями, качеством услуг и прозрачную коммуникацию * эксплуатация и оптимизация инфраструктуры данных: поддержка высоконагруженной аналитической платформы (greenplum, clickhouse, объём >3 pb), интеграция компонентов экосистемы данных (hadoop, kafka, flink) и обеспечение их совместной работы, мониторинг и оптимизация etl/elt-процессов, контроль качества данных, устранение узких мест и балансировка нагрузки * стратегическое развитие платформы**:** формирование архитектурной стратегии, включая переход к концепции data lakehouse, внедрение современных технологий и методологий для повышения эффективности, масштабируемости и надёжности инфраструктуры данных

Требования

кого мы ищем: *  ты уже работал с крупными инфраструктурными платформами хранения и обработки данных размером более 1 петабайта * ищешь интересные вызовы, готов разбираться в особенностях архитектуры DWH и управлять проектом высокой сложности * хорошо разбираешься в технологиях Greenplum, ClickHouse, Hadoop и можешь уверенно интегрировать эти компоненты друг с другом * имеешь реальный практический опыт работы с оркестраторами и процессами ETL (Airflow, другие оркестраторы) * понимаешь принципы организации многоуровневой архитектуры DWH (Layered Scalable Architecture) и опыт успешной интеграции новых компонентов в инфраструктуру * умеешь находить баланс между требованиями бизнеса и техническими возможностями, ориентируясь на долгосрочную стратегию развития продукта.

Условия

* комфортный современный офис рядом с м. Кутузовская * гибридный формат работы * ежегодный пересмотр зарплаты и годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.