Middle Data engineer (Java, Scala)

Описание

Мы, команда в Unit Data B2C, разрабатываем внутреннее веб-приложение для создания и управления клиентскими сегментами. Платформа позволяет кампейн-инженерам и аналитикам формировать целевые аудитории через UI с фильтрами по клиентским атрибутам, рассчитывать размер аудитории в реальном времени и публиковать готовые сегменты. В 2026 году мы планируем реализовать бэклог из множества задач, включая расширение функциональности конструктора сегментов, разработку ИИ-помощника, разработку интеграционных взаимодействий.

Обязанности

* разработка и оптимизация ETL-потоков в ClickHouse, Postgres, Hadoop, Kafka * подключение новых источников данных * оптимизация структуры хранения данных * автоматизация процесса расчёта и публикации сегментов * разработка системы контроля качества данных.

Требования

* опыт работы с БД (Hadoop, Clickhouse, Postgres) от 2х лет * опыт настройки и использования Kafka * опыт работы и глубокое понимание Spark, Hive, MapReduce * продвинутый уровень SQL * уверенное использование систем контроля версий будет плюсом: * опыт работы с EAV-моделями данных * опыт обработки NRT потоков данных * опыт администрирования кластеров Clickhouse.

Условия

* работа в офисе по адресу г. Москва, Кутузовский проспект 32к1 * годовой бонус и ежегодный пересмотр * расширенный ДМС с первого дня + стоматология и льготное страхование для семьи * корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях * офис на Кутузовском проспекте 32 с видом на набережную, зонами отдыха и спортзалом * льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.