Middle Data Engineer (Holocron)

Holocron — команда, которая отвечает за инфраструктуру данных в 2ГИС. Мы строим и поддерживаем системы, через которые проходят события от боевых сервисов до аналитических витрин. Обеспечиваем надёжную доставку данных, их хранение, обработку и доступ для всех, кто с ними работает.

Сейчас мы развиваем корпоративную дата-платформу нового поколения. Это не просто перенос пайплайнов — это переосмысление архитектуры, техстека и подходов. Мы отказываемся от легаси, сохраняем лучшее (например, Apache Spark) и закладываем фундамент, на котором будут работать десятки инженерных команд.

Что предстоит делать

• Расширять существующие форматы данных.
• Разрабатывать и поддерживать ETL/ELT-процессы.
• Автоматизировать batch-расчёты.
• Подключать новые источники данных.
• Участвовать в миграции пайплайнов с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
• Работать с большими объемами данных и высоконагруженными Kafka-топиками.

Почему это интересно

• Участвуешь в создании дата-платформы с нуля — от архитектуры до продакшена.
• Влияешь на технологический курс всей компании.
• Работаешь с современным стеком: Spark 3+, Kafka, S3, ClickHouse.
• Получаешь опыт, который сложно получить в рамках устоявшихся решений.
• Решаешь реальные технические вызовы: масштабируемость, отказоустойчивость, строгие SLA.

Мы ждем, что ты

• Имеешь опыт работы с данными — от Junior+ до уверенного Middle.
• Понимаешь, как устроены ETL/ELT-процессы.
• Умеешь писать SQL и читаешь логику отчётов без боли.
• Знаком с Apache Spark, Kafka, ClickHouse — будет плюсом.
• Пишешь на одном из языков (например, Scala или Python).
• Хочешь развиваться в направлении построения дата-инфраструктуры.

Как мы работаем

• Не боимся убирать легаси — осознанно избавляемся от устаревших решений.
• Оцениваем эффективность не по объёму кода, а по бизнес-ценности.
• Любим нестандартные, но обоснованные инженерные решения.
• Верим в понятную архитектуру и human-friendly документацию.
• Умеем договариваться — и с бизнесом, и между собой.

Условия

• 2ГИС — аккредитованная IT-компания.
• Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске. Также у нас можно работать 100% удалённо, уезжать на зимовки.
• Само собой, полностью белая зарплата, размер обсуждается на собеседовании, потолка нет.
• Есть ДМС, штатный терапевт, невролог, мед. консультант и другие IT-плюшки.
• Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра.

Приходите, у нас хорошо. Как у других, только лучше.