Data Engineer в команду аналитической платформы

О команде

Мы — команда инженеров, которая помогает аналитикам выполнять свои задачи быстро и качественно, используя принятые в компании решения, инструменты и стандарты. Наша цель — обеспечить обновление данных в хранилище в нужные сроки с контролем полноты и качества, используя автоматизацию процессов и управление базовым слоем данных.

Примеры будущих задач:

Мы мигрируем аналитическое хранилище с Vertica на Trino, чтобы получить лучшую масштабируемость, более высокую производительность для общей аналитики и гибкость в работе с современными архитектурами данных.

Это обеспечит устойчивое развитие платформы в долгосрочной перспективе.

Хранилище используется для широкой аналитики — от продуктовых исследований до бизнес-отчетности и операционных задач.

Примеры задач:

• мигрировать расчеты на трино;
• оптимизировать витрину данных: сократить объем чтения DDS, оптимизировать модель расчетов;
• исследовать расхождения данных в Vertica-витрине и новой Trino-витрине;
• переводы тяжелых витрин данных (>1TB);
• переводы неоптимальных витрин данных: оптимизировать, чтобы влезть в квоты;
• сократить долю вертики в объеме хранимых данных.

Вам предстоит:

• разрабатывать витрины данных от источника до сопровождать миграцию из Вертики в Трино: переводить витрины данных, обновлять зависимости переведенных витрин;
• поддерживать и дорабатывать сервисы автоматизации миграции (трансляция, сверка, изменение зависимостей, переливка исторических данных);
• оптимизировать запросы, модель данных в расчетах.

Мы ждём, что вы:

• имеете опыт работы с OLAP СУБД: ClickHouse/Vertica/Trino/Greenplum;
• отлично знаете SQL в OLAP специфике, понимаете, как создавать витрины и дашборды;
• понимаете, что такое «хорошая» модель данных и чем она отличается от «плохой»;
• умеете программировать на Python;
• понимаете, как работают Git / Bitbucket / TeamCity;
• имеете опыт разработки витрин данных;
• имеете опыт разработки пайплайнов обработки данных.

Работа у нас — это:

• возможность реализовать свои идеи в проекте с многомиллионной аудиторией;
• талантливая команда, готовая поддержать ваши инициативы;
• мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
• прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
• личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
• забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
• удалёнка и замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.