Дата-инженер в Карты

Мы ищем опытного дата-инженера, который будет развивать хранилище данных (DWH) для аналитики Яндекс Карт. Вам предстоит иметь дело с огромными объёмами данных и разрабатывать надёжные и эффективные решения, которые будут обеспечивать качественную работу сервисов.

Какие задачи вас ждут

Разработка и поддержка DWH
Вы будете разрабатывать и поддерживать хранилище данных (DWH) для аналитики Яндекс Карт. Это включает создание масштабируемой и надёжной архитектуры, обеспечение высокого качества и целостности данных, а также оптимизацию производительности запросов и структуры хранилища.

Проектирование и оптимизация ETL-процессов
Нужно будет проектировать и оптимизировать процессы извлечения, трансформации и загрузки данных (ETL) в DWH. Вы будете разрабатывать эффективные пайплайны для работы с данными из различных источников (API, базы данных, файлы и т. д.), сокращать время обработки и повышать качество данных.

Работа с большими объёмами данных
Вам предстоит обрабатывать сотни терабайт данных ежедневно: очищать их от шума, трансформировать, интегрировать и обеспечивать их высокое качество и целостность.

Мониторинг и отчётность
Вы примете участие в создании и поддержке систем мониторинга состояния DWH и генерации отчётов. Это поможет отслеживать ключевые метрики, оперативно выявлять и устранять проблемы в работе хранилища данных.

Взаимодействие с другими командами
Вы будете активно взаимодействовать с разработчиками, аналитиками и другими специалистами, узнавать требования к данным и реализовывать их в рамках DWH.

Мы ждем, что вы

• Работали дата-инженером или в смежных ролях
• Работали с технологиями для обработки больших данных, включая MapReduce
• Хорошо знаете SQL или YQL, работали с реляционными базами данных
• Владеете Python и С++
• Знаете и применяли ETL-инструменты

Будет плюсом, если вы

• Работали с YTsaurus и YQL
• Работали с ClickHouse
• Умеете разрабатывать DAG для Airflow