Дата-инженер (Spark)

Описание

Grapher - это масштабный граф клиентских связей (более 70 млрд рёбер) на базе Cassandra, обеспечивающий:

• Скоринг по окружению: оценка кредитных рисков на основе 2-hop сетей контактов

• BAF (Bring a Friend): подбор наиболее релевантных рефералов

• Антифрод: выявление мошеннических схем и аномалий в связях

• Telesales: рекомендация целевых продуктов под каждого клиента по уго окружению

Обязанности

• Решать сложные задачи по разработке нетипового ETL

• Формировать лучшие практики разработки ETL на Apache Spark + S3 + Iceberg

• Участвовать в проработке архитектурных решений в области ETL, проводить пилоты технологических решений

• Наращивать инженерную культуру и уровень знания технологий среди команд — разработчиков ETL

• Формировать требования к профессии инженера данных

• Участвовать в найме сотрудников, менторить и развивать инженеров данных

Требования

• У вас есть опыт промышленной разработки на Apache Spark от 3 лет

• Хорошо знаете один из табличных форматов — Iceberg, DeltaLake, Hudi

• Есть практический опыт оптимизации задач на Spark

• Знаете один из языков программирования — Java, Python или Scala

• Владеете SQL на уровне написания аналитических запросов

Мы предлагаем

• Работу в офисе или удаленно — по договоренности

• Платформу обучения и развития «Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии 

• Комплексную программу заботы о здоровье. Оформим полис ДМС с широким покрытием и страховку от несчастных случаев. Предложим льготные условия страхования для ваших близких

• Возможность работы в аккредитованной ИТ-компании

• Линейку льготных тарифов на продукты Т-Банка

• Частичную компенсацию затрат на спорт 

• Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросами

• Три дополнительных дня отпуска в год

• Достойную зарплату — обсудим ее на собеседовании