Прикладной администратор Data Platform

Обязанности

• Обеспечение стабильной, производительной и безопасной работы Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте.

Требования

• Администрирование Trino (Настройка, обновление, мониторинг и тюнинг кластеров)
• Настройка коннекторов (Iceberg, S3)
• Оптимизация производительности запросов (resource groups, query analysis)
• Администрирование Spark (настройка и оптимизация кластеров)
• Понимание взаимодействия Spark с Iceberg и S3
• Работа с S3 (политики доступа, шифрование, версионирование, оптимизация стоимости/производительности)
• Эксплуатация Apache Iceberg (опыт администрирования таблиц в формате Iceberg, настройка и использование Hive Metastore)
• Понимание и применение: compaction, expiration snapshots, time travel, schema evolution
• Оптимизация производительности Iceberg (partitioning, clustering, metadata management)
• Навыки Linux, Bash, Python для автоматизации
• Мониторинг и алертинг Prometheus, Grafana
• Резервное копирование/восстановление кластеров, критических компонентов
• Настройка аутентификации, авторизации для Trino, Spark, Iceberg, Hive Metastore интеграция с Ranger
• Управление политиками доступа и правами доступа через Ranger в S3 и Iceberg
• Разработка и внедрение централизованной ролевой модели для доступа к данным и ресурсам платформы.