Data Engineer (Контроль качества)

Описание

Ищем единомышленника в команду аналитики банковских рисков. Мы создаём витрины данных для принятия стратегических решений, работаем с крупнейшими объёмами информации о рынке и бизнесе, а наши отчёты читает руководство банка. Если вам интересно видеть практический эффект от своих инженерных решений — присоединяйтесь!

Обязанности

* подготовка данных для построения мультимодальных ИИ-моделей и принятия стратегических решений * разработка и оптимизация витрин данных и ETL-процессов на платформе Hadoop, с использованием инструментов Spark, Hive, HDFS * анализ работы существующих ETL процессов, поиск и устранение проблемных мест * взаимодействие с заказчиками для сбора, формализации и декомпозиции бизнес- и функциональных требований к данным * сопровождение команд бизнеса и разработки моделей по ad-hoc запросам * обеспечение качества и доступности данных * оптимизация производительности обработки данных (например, настройка параметров Spark-джоб для достижения максимальной производительности и эффективности использования ресурсов кластера).

Требования

* глубокое SQL (оконные функции, CTE, оптимизация планов запросов) * опыт работы с Apache Spark (PySpark/Spark SQL), Hadoop/HDFS, партиционирование, распределённые вычисления * опыт работы с scala/python * понимание устройства хранилищ данных * опыт работы с большими объёмами данных * знание общих подходов к оптимизации * навыки работы с git и linux bash * промышленный опыт реализации ETL процессов * общее понимание ИИ-архитектур и ML-алгоритмов.

Условия

* комфортный современный офис рядом с м. Кутузовская * офисный формат работы * ежегодный пересмотр зарплаты и годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка Прайм с возможностью совместного использования на трёх близких * скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.