Data Engineer (GenAI)

Описание

Мы разрабатываем инновационную платформу на основе генеративного искусственного интеллекта (GenAI), предназначенную для автоматизации создания и управления маркетинговыми кампаний. Основной целью нашего продукта является генерация персонализированных коммуникаций в автономном режиме, где мультиагентные системы самостоятельно анализируют данные аудитории, разрабатывают стратегии, создают контент и оптимизируют результаты в реальном времени.

Обязанности

• Проектирование и построение batch- и streaming-витрин • Проработка архитектуры хранилища данных, а также его интеграцию с внешними системами • Загрузка, очистка и трансформация больших объемов данных из различных источников в рабочую область (платформы GreenPlum и Hadoop) • Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин • Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных • Участие в анализе требований, оценке трудоёмкости задач и планировании релиза совместно с командой

Требования

• Опыт работы scala-разработчиком/дата-инженером от 2 лет • Знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов) • Опыт с Apache Spark (обязательно). Опыт с Flink, Kafka, Iceberg или аналогичными • Понимание DWH/Data Lake, ETL/ELT-процессов, SCD, Data Quality • Опыт работы с большими объемами данных, построения хранилищ и витрин данных  • Понимание принципов DevOps и опыт участия в процессах автоматизации сборки, тестирования и развёртывания • Ответственное отношение к выполнению задач, желание профессионально расти и развиваться Будет плюсом: • Знание Python • Опыт с ClickHouse, Kubernetes, S3

Условия

• Современный IT-офис вблизи Москва-Сити с фитнес залом • После погружения в процессы возможен гибридный формат • Позитивная и заряженная команда профессионалов • Интересные, сложные, амбициозные задачи • Создание нового уникального продукта • Возможность профильного обучения за счет компании • Стабильная, конкурентная «белая» заработная плата (оклад + достойные премии) • Льготные условия по ипотеке и кредитам Сбербанка • ДМС, социальные гарантии, корпоративные мероприятия