Data engineer / архитектор хранилища данных

О компании и команде

Мы не стартап «на идее» — мы уже сделали результат. 

25 лет опыта в оффлайн-ритейле + глубокая экспертиза в e-commerce.
Развиваем собственные бренды верхней одежды GRIZMAN и LAWINTER, которые за последние 3 года вышли в лидеры категории на Wildberries. Это не про «попробовали и получилось», а про системную работу с продуктом, аналитикой и масштабированием.

Что важно про команду и проект:

— Уже есть обороты и нагрузка
— Много свободы в принятии решений: нет бюрократии и долгих согласований
— Data — это не вспомогательная функция, а ядро бизнеса (мы реально опираемся на цифры, а не на «чувство рынка»)
— Можно построить систему «с нуля правильно»

Сейчас мы выходим на следующий уровень — нам нужна полноценная архитектура данных: сбор, хранение, обработка и быстрая доступность информации для бизнеса.

Поэтому мы ищем не просто data engineer, а человека, который сможет построить фундамент всей аналитики компании и напрямую влиять на рост бизнеса.

Что нужно сделать:

Построить внутреннюю систему аналитики «РНП» по: Wildberries / Ozon / рознице в 1С УТ:

- спроектировать архитектуру;

- определить, что хранить в Postgres, что в ClickHouse;

- продумать сущности, ключи, связи, гранулярность;

- настроить автоматическую загрузку данных из API WB, Ozon и 1С;

- реализовать загрузку на Python;

- учесть дубли, неполные данные, ошибки, изменения задним числом, догрузку и пересчет;

- построить расчетный слой между сырыми данными и интерфейсом;

- подготовить быстрые витрины / агрегаты / предрасчеты;

- передать решение нашей команде;

- при необходимости подключаться к доработкам.

Требования:

- реальный опыт похожих проектов;

- желательно опыт именно с маркетплейсами;

- SQL + Python;

- опыт проектирования аналитических БД / хранилищ;

- опыт работы с API;

- понимание расчетного слоя;

- интеграция с 1С или понимание, как это делать.

Формат: 

- проектная работа в удаленном формате;

- сдача этапами;

- работа на нашем сервере.

Дополнительно:

Чтобы понять, насколько ваш опыт подходит под нашу задачу, просьба коротко ответить по пунктам:

1. Какой похожий проект по маркетплейсам вы делали лично?

2. С какими маркетплейсами и API вы работали руками?

3. Что именно вы делали сами: проектирование БД / выбор архитектуры / загрузка данных на Python / расчетный слой / витрины / агрегаты / интеграция с 1С

4. Как вы решали ситуации, когда API:

- отдавало не все данные,

- присылало дубли,

- меняло старые данные задним числом

5. Что бы вы предложили для такой задачи на старте:

- только Postgres или - Postgres + ClickHouse  и почему

6. Как вы бы разделили:

- сырые данные,

- расчетный слой,

- данные для интерфейса

7. Есть ли у вас опыт передачи такого проекта внутренней команде

8. Можете ли вы после запуска подключаться к точечным доработкам

9. Если можно, кратко опишите один похожий кейс: что было на входе, что вы сделали, какой результат получили.

10. Ваш ориентир по стоимости и формату работы.