Data Engineer (Middle+, Senior)

Инженер данных

Ищем инженера данных для участия в масштабном проекте одного из крупнейших банков России (входит в ТОП-5).

Задачи роли:

Разработка и архитектурное проектирование потоков обработки данных (ETL/ELT), а также аналитических витрин для отчетности и ML-решений.

Подготовка данных: очистка, проверка корректности, приведение к единым стандартам, автоматизация контроля качества.

Настройка загрузки и обновления данных в Data Lake, обеспечение их актуальности и согласованности.

Повышение производительности SQL-запросов и data-пайплайнов.

Сопровождение DAG’ов в Airflow, поддержка CI/CD-процессов и актуальной технической документации.

Внедрение best practices в data-инжиниринге и развитие автоматизации.

Плотное взаимодействие с аналитиками и Data Science-командой: помощь в оптимизации SQL- и Python-кода.

Наши ожидания:

Уверенные знания SQL (PostgreSQL, PL/SQL) и хорошее понимание принципов построения и работы СУБД.

Python и экосистема работы с данными: pandas, polars, PySpark, pyarrow.

Практический опыт использования Airflow и DVC.

Работа с распределёнными хранилищами и платформами обработки данных: Greenplum, Hadoop, Hive, Impala, HDFS.

Понимание архитектурных подходов DWH, Data Lake и Data Mart.

Опыт работы с Jupyter (Notebook / Lab / Hub), системами контроля версий Git и CI/CD-инструментами.

Навыки анализа и оптимизации SQL-запросов, профилирование производительности.

Дополнительным плюсом будет:

Опыт работы с Docker и Kubernetes.

Участие в проектах совместно с ML/DS-командами, построение пайплайнов под задачи моделей.

Использование инструментов контроля качества данных (Great Expectations, OpenMetadata и аналогичных).

Удалённый формат работы (по территории РФ).