Data Engineer Баланс Продавцов

Объединённая компания Wildberries и Russ (ООО «РВБ») — это международная технологическая компания, основанная в России. Она образована в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ — с целью совместного создания новейшей цифровой торговой платформы и предоставления бесшовных инструментов для развития малого и среднего бизнеса на территории стран присутствия. Wildberries и Russ — это лидер рынков e-commerce и наружной рекламы в России с современной IT-инфраструктурой. 
Мы - баланс продавцов, и наша основная задача - учитывать все события в процессе работы селлера с нашей площадкой, и сводить эти события в единый финансовый баланс продавцов, а также подкрепление этого баланса финансовыми документами и отчетами. 
Задача дата-инженерной команды: собрать все данные по балансу продавцов (как данные, пришедшие в баланс, так и данные, вышедшие из него), и предоставить их в удобном формате для аналитики и контроля процессов. Планы у нас амбициозные, и в данный момент мы находимся в поиске инженера, который поможет нам решать наши задачи быстрее, лучше и эффективнее.

Обязанности

• Разработка ETL/ELT процессов с использованием различных хранилищ и технологий (важно также умение подружить их между собой)
• Интеграция данных из различных источников в различных режимах (потоки, батчи) в различные хранилища (от классических СУБД до хранилищ класса BigData)
• Разработка фреймворков и решений для автоматизации рутинных и ad-hoc задач
• Доформирование и декомпозицией задач, полученных от бизнеса (превращение задачи с формулировкой «мне надо/я хочу…» в ТЗ для инженера)
• Документирование разработок и решений команды
• Обеспечение поддержки решений команды

Требования

• Практический опыт работы с BigData-хранилищами (Hadoop и/или S3, аналитические базы данных (Clickhouse, Greenplum, Vertica))
• Практический опыт работы с движками распределенных вычислений (Spark и/или Trino)
• Опыт разработки на Python (приветствуется опыт разработки фреймворков, приложений, а не только скриптование), знание SQL на продвинутом уровне (не только простой DML, но и расширенный DDL)
• Практический опыт в оптимизации структур данных для их более эффективного хранения и обработки
• Знание Linux на уровне пользователя и умение пользоваться терминалом
• Знание и опыт применения различных моделей данных
• Опыт разработки базового DQ, и понимание принципов его построения
• Наличие опыта базового системного и дата-анализа
• Опыт в разработке архитектурных схем и проектировании решений
• Обязателен опыт написания технической документации по решениям, которые вы разрабатывали