Ведущий инженер систем больших данных

$19

В нашей команде тебя ждет:

• Мы работаем над проектом по внедрению и развитию процессов интегрированного бизнес-планирования (Integrated Business Planning, IBP) в Пятерочке и Перекрестке. Этот проект не имеет аналогов на рынке РФ по масштабу и является новым для ритейла. Мы занимаемся изменениями не только в рамках цепей поставок / операций, но и в коммерции, финансах, маркетинге и других функциях, что дает отличную возможность увидеть сквозные процессы в крупнейшем бизнесе. • У нас активная и неравнодушная команда, мы работаем на пересечении BigData и классической разработки: Пишем на Python, используем связку React + FastAPI/Django для разработки веб-приложений, данные храним в Postgres и S3, а в качестве OLAP-хранилища используем ClickHouse. У нас также есть большой Hadoop кластер, который мы используем для работы с петабайтами данных (в том числе на базе собственных решений). Мы стараемся применять лучшие DevOps практики: все наши приложения и среды разработки развернуты с помощью Kubernetes, в ближайшее время планируем окончательно переехать в облачную инфраструктуру. • Обязанности кандидата: • Взаимодействие со смежными подразделениями, вендорами систем, бизнес-заказчиками, бизнес-аналитиками с целью понимания бизнес-смысла решаемой задачи в зоне ответственности своей группы; • Анализ предметной области, активное участие в поиске возможностей улучшения бизнес-процессов в рамках своей группы, направления интегрированного бизнес-планирования и смежных направлений, в постановке и решении алгоритмических и оптимизационных задач, а также внедрение разработанных решений; • Участие в проектировании архитектуры решения, техническая реализация компонентов системы в зоне ответственности своей группы; • Разработка программного кода систем больших данных; • Обеспечение качества разработанных решений посредством тестирования написанного кода, а также разработки автоматических тестов (unit, e2e); • Разработка документации, описывающей архитектуру и логику работы разрабатываемых систем больших данных; • Обеспечение поддержки разработанных решений, консультация пользователей, исправление дефектов; • Проведение плановых работ по оптимизации программного кода разработанных систем больших данных; • Подготовка и сборка установочных пакетов, окружений, помощь в настройке CI/CD pipelines для установки разработанных решений на промышленную среду; • Подготовка и выпуск пакетов обновлений, включающих в себя исправление дефектов и оптимизацию программного кода систем больших данных.

Мы ждем тебя, если ты имеешь:

• Знание основных шаблонов разработки программного обеспечения\nЗнание необходимого инструментария разработки Python/Java/Scala, Hadoop, Hive, PostgreSQL, Greenplum, Clickhouse, Kafka, Spark, Airflow, Docker & k8s.\nЗнание SQL.\nНавыки идеологических и технологических аспектов BigData.\nАналитический склад ума, умение и желание решать сложные задачи;\nЗнание системы контроля версий Svn/Git.

Условия работы

• Удаленная работа • Москва