Data Engineer в команду Clickstream

О команде

Команда Data-loadka создаёт и поддерживает self-service инструменты загрузки данных аналитической платформы компании. В основе загрузок лежит раскладка в таблицы 6НФ по методологии Anchor Modeling, на которой строится слой витрин. В качестве основного движка расчётов мы используем Trino / Vertica и активно занимается разработкой кастомных Trino-плагинов для загрузки данных.

Вам предстоит:

• перерабатывать архитектуру инструмента загрузки данных в DWH;
• поддерживать инфраструктурные компоненты;
• адаптировать Trino-плагины под потребности компании.

Мы ждём, что вы:

• имеете опыт работы с lakehouse-хранилищами или колоночными базами данных: загрузка данных в s3-like хранилища и оптимизация запросов на их основе;
• пишете на Python или другом языке программирования;
• хотите работать в платформенной команде без чётких требований к продуктам.

Будет здорово, если вы:

• имеете опыт разработки etl-пайплайнов основанных на batch-данных;
• работали с Trino, Ceph, ClickHouse, Vertica;
• имеете опыт разработки микросервисов на ассинхронных python-фреймворках (Aiohttp, Starlette)
• знаете Java.

Работа у нас — это:

• возможность реализовать свои идеи в проекте с многомиллионной аудиторией;
• талантливая команда, готовая поддержать ваши инициативы;
• мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
• прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
• личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
• забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
• удалёнка из любой точки мира или замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.