Data Engineer

• Разработка, развертывание и сопровождение пайплайнов и систем управления данными на платформе Databricks (Unity Catalog, Delta Lake, Workflows).

• Анализ, профилирование и классификация данных по доменам, выявление персональных данных (PII).

• Проектирование систем доступа к данным: контракты данных, управление каталогами, автоматизация выдачи/отзыва прав через Infrastructure-as-Code (Terraform).

• Взаимодействие с командой для ревью архитектур и контрактов, обеспечение их эффективности, гибкости и переиспользуемости.

• Контроль развертывания продуктов данных и средств доступа, чтобы они работали без побочных эффектов.

• Ведение документации по контрактам, моделям доступа и процессам управления данными.

• Мониторинг и сопровождение пайплайнов, проверки качества данных и производительности.

• Активный поиск внутренних решений и общих технологий для повторного использования.

⠀

Требования:

⠀

• Опыт коммерческой разработки в Data Engineering от 3 лет.

• Уверенное владение Python и инструментами обработки данных (Spark/PySpark – потоковая, пакетная, асинхронная обработка).

• Глубокое понимание моделирования данных, распределённой обработки, SQL и архитектуры DWH / Lakehouse.

• Практический опыт развёртывания облачных платформ (Databricks, GCP или AWS) через Terraform — обязательно. Готовность осваивать новые технологии под задачи интеграции.

• Умение проектировать решения для управления доступом к данным с использованием стандартных паттернов и инструментов.

• Понимание бизнес-ценности создаваемых продуктов данных и принципов управления ими.

• Сильные аналитические навыки: решение проблем на основе фактов и логики.

• Отличные коммуникативные навыки, умение работать в команде, слушать и находить консенсус.

• Желателен опыт разработки ПО.