SRE engineer (с функциями DE)

В связи с расширением команды инфраструктуры мы уже запустили и продолжаем развивать корпоративное аналитическое хранилище и ищем специалиста с сильным бэкграундом в Data Engineering, который сможет одновременно заботиться о надёжности и производительности стековой инфраструктуры Что мы уже построили и развиваем: Hadoop Vanilla кластер (последняя версия) с компонентами: HDFS, YARN, Hive, Spark (Pyspark), Trino, Airflow, JupyterHub, FreeIPA KDC, Knox, Ranger, Hue, Data Catalog & BI: OpenMetadata, Superset, Деплоймент: часть сервисов на «железе», часть в Kubernetes, Единая аутентификация: интеграция с Keycloak.

Обязанности

• Проектирование ETL/ELT-конвейеров.
• Разработка, оптимизация и автоматизация пайплайнов на Spark и Python.
• Интеграция потоковых (Kafka) и пакетных источников данных.
• Моделирование и подготовка данных.
• Проектирование витрин по способам хранения данных (шардирование, партиционирование), оптимизация таблиц для аналитики в Hive/Trino/ClickHouse.
• Работа с dbt-моделями для управления версиями и тестирования SQL трансформаций.
• Инфраструктурная поддержка.
• Автоматизация развёртывания и конфигурации компонентов через Ansible / Helm.
• Мониторинг и алертинг (Prometheus/Grafana) ключевых метрик ETL-задач и ресурсов кластера.
• Обеспечение отказоустойчивости, безопасности и резервного копирования данных.
• Траблшутинг и оптимизация.
• Выявление и устранение узких мест в производительности Spark-джобов и SQL запросов.
• Настройка партиционирования, шардирования, индексов для MPP-СУБД.

Требования

• От 2 лет опыта работы с Linux-серверами.
• От 3 лет опыта разработки и поддержки ETL/ELT-конвейеров (Spark, Python).
• Опыт эксплуатации Hadoop-кластера (HDFS/YARN/Hive) и оркестрации в Airflow.
• Знание Kafka-коннекторов и принципов стриминговой обработки.
• Навыки SQL-оптимизации и работы с MPP-СУБД (ClickHouse, Greenplum).
• Опыт автоматизации конфигурации и деплоя (Ansible, Helm).