Data Engineer

Мы ищем Дата-инженера, основная и первоочередная задача которого — спроектировать и реализовать централизованный Data Warehouse (DWH) для нашей аналитической платформы. DE возьмёт на себя интеграцию существующих источников данных (API и парсинг), настройку процессов обновления и оркестрации данных, логирование и проверку качества, а также разработку оптимальной схемы БД для аналитики и сервисов клуба.

Формат работы: удалённо

Что будет нужно делать:

   • Проектирование архитектуры DWH и разработка схемы данных (таблицы, колонки, индексы, нормализация/денормализация для аналитики)

   • Анализ источников данных и интеграция: работа с API, написание парсеров для источников, требующих эмуляции браузера (Selenium / Playwright)

   • Построение ETL/ELT-конвейеров на Python; трансформации данных, обработка ошибок, повторимость

   • Оркестрация расписаний и DAG’ов — Airflow

   • Настройка логирования и метрик

   • Автоматическая валидация качества данных (схемы, дедубликация, контроль целостности) — разработка тестов и правил

   • Обеспечение актуального обновления БД, планирование резервного копирования и восстановления

Необходимые навыки:

   • Уверенный опыт работы Data Engineer с проектами по созданию DWH (проектирование моделей данных и т.д.)

   • Отличное владение SQL и опыт оптимизации сложных аналитических запросов в PostgreSQL

   • Python — опыт разработки ETL/ELT скриптов

   • Практический опыт с Apache Airflow

   • Навыки интеграции с внешними API

Будет плюсом:

   • Навык создания и деплоя простых сервисов: backend-часть (Flask, FastAPI), развёртывание сервиса на ВМ

   • Опыт работы с контейнерами (Docker) и базовым CI/CD

   • Навык написания SDK для дальнейшей работы с источниками аналитиков и ML-инженеров.

   • Опыт парсинга сайтов с помощью Selenium / Playwright или аналогов.

   • Опыт настройки логирования и мониторинга

Формат собеседования:

   1. Подача резюме, предварительный отбор кандидатов

   2. Тестовое задание

   3. Техническое собеседование с обсуждением тестового задания и техническими вопросами.

   4. Финальное интервью с руководитель аналитики