Инженер данных

Наша команда развивает собственное решение On-Shelf Availability (OSA) в крупнейшем офлайн-ритейлере "Магнит". Мы строим систему сквозного мониторинга доступности товаров для покупателей. Сейчас продукт активно развивается: интегрируемся с действующими системами компании, масштабируем решение на тысячи магазинов, готовим расширение в смежные бизнес-процессы.

Сейчас мы находимся в поиске Инженера данных (middle), который сможет усилить нашу фулл-стек команду (DS, DE, DA).

Чем ты будешь заниматься

• Разрабатывать, внедрять и поддерживать конвейеры данных (Apache Airflow).
• Развивать и поддерживать объектное хранилище данных (Amazon S3).
• Разрабатывать потоки для ETL-процессов между различными хранилищами (PySpark, JDBC).
• Писать код для обработки данных на Spark (PySpark, Spark SQL).
• Автоматизировать рутинные задачи на Python.
• Взаимодействовать с владельцем продукта и командой разработки для понимания требований к данным и построения решений, поддерживающих бизнес-цели.

Мы ожидаем

• Опыт самостоятельной работы с распределёнными системами обработки данных (Spark/Hadoop) от 2 лет.
• Уверенное знание Python и опыт написания структурированного, поддерживаемого кода.
• Уверенное владение SQL.
• Уверенные навыки работы со Spark: оптимизация приложений, умение читать план запроса.
• Опыт разработки ETL/ELT-процессов.
• Понимание схем проектирования хранилищ данных.
• Опыт работы с реляционными СУБД (например, PostgreSQL, Teradata, MSSQL, Oracle).
• Понимание принципов работы распределённых высоконагруженных вычислений.
• Умение документировать разработанные пайплайны и процессы так, чтобы ими могли пользоваться коллеги.

Будет плюсом

• Опыт работы с Big Data или ML-продуктами.
• Опыт работы с облачной инфраструктурой (Yandex Cloud, AWS, MS Azure).
• Уверенная работа в Linux.
• Понимание принципов работы ритейла, товародвижения и складских процессов.

Мы предлагаем

• Оформление в аккредитованную IT-компанию.
• Возможность работать из офиса в Москве, Краснодаре или удалённо.
• ДМС со стоматологией.
• Технику для работы.
• Уникальную возможность работать с передовым форматом и развивать его вместе с командой профессионалов.
• Безграничные возможности для развития и прокачки своих навыков.
• Свободу в принятии решений в рамках общей стратегии.
• Корпоративные скидки и программы лояльности от наших партнёров.