Data Engineer

Сейчас мы в поиске Дата инженера для работы над крупным банковским проектом по репликации данных из S3 в Hadoop

Твои задачи:

• Реализовывать репликацию данных

• Разрабатывать ETL-процессы для интеграционных задач и тестировать их

• Декомпозировать задачи, оценивать длительность и трудоемкость каждого этапа

• Анализировать и формализовать требования заказчика

• Собирать прототип решения

• Анализировать качество данных

• Писать проектную документацию (FSD, BRD, регламент, Admin Guide, User Guide)

• Тестировать функционал и передавать заказчику

• Выполнять ad-hoc выгрузки по требованиям заказчика

Что мы ждем от тебя:

• Уверенное владение SQL

• Опыт работы с Python

• Опыт работы с Apache Spark, Hadoop\S3\S3-like, Airflow

• Навыки декомпозиции сложных задач и управления приоритетами-

• Способность создавать понятную и структурированную техническую документацию

• Будет плюсом:

• Опыт работы с Parquet\ORC, Apache Iceberg

• Опыт работы с Kafka

• Знание архитектуры Data Vault

Что мы обеспечиваем:

• Внутренние семинары, внутренние митапы, мы очень любим учиться новому

• ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи

• Технику для комфортной работы

• Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника