Data Engineer в Yandex Cloud

Наша команда DWH развивает корпоративное хранилище данных и обеспечивает качество и своевременность их поставки. Для интеграции данных (Data Transfer, Schema Registry и других) мы используем сервисы Yandex Cloud, обрабатываем данные с помощью YQL (расширенный SQL) и Nirvana (аналог Airflow), а хранилищем данных выступает YT.

Ищем опытного инженера данных, который любит сложные задачи. Вам предстоит настраивать обновление данных и строить нагруженные системы.

Какие задачи вас ждут

Активация данных
Вам предстоит интегрировать данные из разных источников (API, PG, YDB, YDS) и передавать их на последующие уровни хранилища данных, используя различные режимы (CDC, increment, snapshot).

Оптимизация ETL-процессов
Вы будете применять различные техники оптимизации к ETL-процессам.

Управление данными в хранилище
Вы будете добавлять, обновлять и удалять данные в системе.

Мы ждем, что вы

• Имеете релевантный опыт от трёх лет
• Работали с базами данных и ETL-процессами
• Умеете работать с инструментами для управления данными
• Разбираетесь в деталях поставки и обработки данных
• Готовы изучать новые технологии и инструменты
• Ответственны и умеете доводить задачи до конца
• Способны работать в команде и участвовать в разработке общих решений