Дата-инженер — Spark

Описание

Команда ETL Performance разрабатывает и контролирует соблюдение лучших практик разработки ETL-процессов и внедряет их в работу команд. Мы влияем на интегральные показатели эффективности и скорости разработки ETL-процессов.

Мы системно улучшаем метрики процессов регулярного обновления данных, отвечаем за утилизацию ресурсов платформы с помощью ETL и вырабатываем лучшие практики в технологиях целевого стека Spark + Iceberg/S3 и их трансляцию.

Узнать больше о профессии: дата-инженеры в Т‑Банке.

Обязанности

• Анализировать работу существующих Spark-процессов, искать проблемные места и давать рекомендации по их улучшению
• Вырабатывать и документировать лучшие практики Iceberg + Spark для сообщества дата-инженеров
• Развивать алгоритм выделения ресурсов для ETL-процессов на Spark
• Искать и реализовывать стратегические меры, которые улучшат производительность ETL-процессов на Spark

Требования

• У вас есть промышленный опыт реализации ETL-процессов
• Есть опыт анализа данных, знаете математическую статистику
• Глубоко понимаете архитектуру хранилищ данных DWH и озер данных DLH
• Знаете на уверенном уровне принципы распределенных данных и вычислений
• Отлично разбираетесь в Spark

Мы предлагаем

• Работу в офисе или удаленно — по договоренности
• Возможность работы в аккредитованной ИТ-компании
• ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней
• Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью
• Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи
• Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни
• Компенсацию затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами
• 3 дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию
• Специальные тарифы на продукты Т-Банка и широкую программу скидок от партнеров
• Достойную зарплату — обсудим ее на собеседовании