Data Engineer

Banks Soft Systems - системно значимая российская ИТ-компания, специализирующаяся на разработке, внедрении и поддержке решений по цифровизации клиентского обслуживания для банков, финтех-компаний, госсектора, телекома, ритейла, медицины, сферы ЖКХ в России и СНГ. Мы разрабатываем системы речевой аналитики, развиваем платформы дистанционного банковского обслуживания, а также оказываем услуги по заказной и аутсорс разработке. Мы практикуем наиболее востребованные рынком технологические решения: от машинного обучения до разработки 1С.

Чем нужно будет заниматься:

• Разработка ETL-процессов на базе прототипов и технических требований;
• Изменение существующих ETL-процессов, согласно меняющимся бизнес-требованиям;
• Продуктивизация кода, DQ-проверок, постановка на регламент, контроль работы ETL-процессов;
• Оптимизация и рефакторинг кода на уровне запросов и конфигураций (SQL/Python/Spark/HDFS);
• Взаимодействие с Системными аналитиками, Инженерами данных, Второй линией поддержки, DevOps, другими смежными подразделениями;
• Оперативное решение инцидентов на уровне третьей линии поддержки;
• Работа с Централизованным OLAP-хранилищем (Hadoop) и слоем репликации витрин данных (Greenplum). Также возможна работа с PostgreSQL, Teradata, Clickhouse и другими БД.

Что мы ждём от кандидата:

• Коммерческий опыт Data Engineer от 3-ёх лет;
• Опыт разработки и сопровождения ETL-процессов в проде (batch-пайплайны, регламентная загрузка, поддержка после запуска);
• Практический опыт работы с Hadoop-экосистемой: HDFS, Hive как SQL-движок, Spark (DataFrame / Spark SQL);
• Уверенное владение SQL, включая оптимизацию запросов под большие объёмы данных (CTE, оконные функции, работа с большими объёмами, понимание explain / планов выполнения);
• Умение использовать Python как инструмент ETL (data-скрипты, orchestration, transformations);
• Опыт оркестрации пайплайнов в Airflow (DAG’и, retries, SLA, backfills);
• Опыт анализа и устранения инцидентов в продуктивной среде (инциденты, падения джоб, анализ логов);
• Понимание принципов построения DWH / Data Lake / Lakehouse.

Будет плюсом:

• Опыт работы с MPP-БД (Greenplum, ClickHouse, Teradata);
• Опыт внедрения DQ-проверок;
• Понимание принципов data governance и data security.

Что мы предлагаем:

• Полное соблюдение ТК РФ c первого дня работы и своевременная выплата заработной платы;
• Удалённый формат работы по РФ;
• Расширенный ДМС со стоматологией;
• Бесплатное обучение английскому языку вам и вашим детям;
• Скидки в фитнес-клубы;
• Предоставляем всю необходимую технику для работы.

Откликайтесь и присоединяйтесь к нашей дружной команде!