Инженер данных DWH в Вертикали

Наша команда разработки аналитической инфраструктуры занимается полным циклом обработки данных в компании. Цикл включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. Ключевое направление нашей деятельности — аналитическое хранилище данных (DWH), которое мы строим для нужд бизнес-подразделений. Наши пользователи — это и продуктовые команды, которым нужна регулярная отчётность для принятия решений, и эксперты в области глубокого анализа данных.

Технологически ядро хранилища построено на системах хранения данных Yandex Tables (кластер MapReduce собственной разработки), СlickHouse и PostgreSQL. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, который разработан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.

Какие задачи вас ждут

• Разрабатывать и сопровождать ETL-процессы поставки данных
• Проектировать структуру хранения данных в разных слоях хранилища
• Выявлять и оптимизировать неэффективные участки в процессах поставки данных
• Погружаться в данные одной или нескольких прикладных бизнес-областей и становиться в них экспертом

Мы ждем, что вы

• Разбираетесь в SQL на уровне эксперта
• Занимались промышленной разработкой на одном из языков высокого уровня: Python, Go, Java и т. д.
• Понимаете устройство и архитектуру реляционных баз данных
• Проектировали DWH: слои, модели хранения данных, ETL-процессы
• Разрабатывали ETL-процессы на Apache Airflow
• Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
• Настраивали поставки данных по API

Будет плюсом, если вы

• Понимаете принципы работы технологий распределённой обработки данных: Hadoop, MapReduce и MPP
• Пользовались хотя бы одной MPP-СУБД: Greenplum, ClickHouse, Vertica, Teradata и т. д.
• Работали с брокерами сообщений: Kafka, RabbitMQ и т. д.
• Умеете работать в командной строке *nix-систем: Linux и macOS