Data Engineer (Mid/Senior)

Мы ищем опытного Data Engineer для работы с большими потоками данных и поддержки дата-инфраструктуры. Роль сочетает поддержку существующих систем и развитие новых решений с приоритетом на стабильность и качество данных в реальном времени.

Чем предстоит заниматься:

• Поддержка и развитие дата-пайплайнов в историческом и реальном времени, включая агрегацию, обработку и верификацию данных.
• Разработка и оптимизация Python‑скриптов для интеграции данных из внешних источников и работы с потоками данных.
• Обеспечение качества данных: настройка и развитие процессов верификации, своевременное выявление и исправление ошибок.
• Развитие инфраструктуры: организация хранения и доступа к сырым данным (Data Lake), рефакторинг пайплайнов, оптимизация хранения неагрегированных данных.
• Обслуживание систем: мониторинг, реагирование на алерты, устранение неполадок и обеспечение стабильной работы критичных сервисов.

Уровень:
Mid: поддержка существующей инфраструктуры.
Senior: развитие новых решений и оптимизация систем в реальном времени.

Требования к кандидатам:

• Опыт работы 3+ лет в Data Engineering или Python-разработке, желательно в финансах, трейдинге или FinTech.
• Уверенное владение Python, включая ООП, многопоточность, многопроцессность и asyncio.
• Работа с библиотеками: Pandas, NumPy, Matplotlib, Plotly.
• Опыт с Apache Airflow или аналогичными системами оркестрации пайплайнов.
• Знание ClickHouse, SQL, Git, Linux/Unix.
• Опыт работы с визуализацией данных (Grafana, Dash) и распределёнными вычислениями (Dask, Ray) будет преимуществом.
• Опыт построения и работы с Data Lake.
• Английский на уровне чтения технической документации.

Условия:

• Удаленный формат работы с гибким графиком.
• Возможность официального оформления по разным схемам (B2B, штат, Blue Card).
• Отпуск: 28 дней + 13 гибких выходных.
• Поддержка релокации в некоторые страны.