Дата Инженер

Описание

Мы ищем Главного эксперта в отдел аудита корпоративного бизнеса. Наша команда работает в Корпоративной аналитической платформе, хранящей петабайты данных и реализованной на широком стеке (HBase, Hadoop, GreenPlum), мы ежедневно обрабатываем беспрецедентные объемы данных.

Обязанности

* разработка оптимизированных Spark-приложений для обработки больших объемов данных * проектирование витрин данных для целей анализа и моделирования на стеке Hadoop/Greenplum * перемещение больших объемов данных между HDFS и Greenplum * исследование и подготовка данных * проведение code-review * внедрение инновационных технологий и методов аудита

Требования

* опыт работы с Hadoop: Apache Spark, HDFS, Hive * глубокие знания SQL: понимание планов запроса, внутренней работы SQL-запросов, способов оптимизации запросов * опыт работы с Python-стеком для работы с данными и API: Polars, Pandas, requests * навыки работы в CLI * опыт работы с OLAP базами данных (Greenplum/Clickhouse) * понимание принципов работы распределённых систем * знакомство с концепциями оптимизации хранения и доступа к данным (партиционирование, бакетирование) * опыт работы с Git * навыки работы с BI-системами: QlikSense/Superset * приветствуются общее представление об ML/статистических моделях * аналитический склад ума, ответственность, быстрая обучаемость, стрессоустойчивость, коммуникабельность, готовность работать в условиях ограниченного времени * умение работать в режиме многозадачности * готовность использовать ИИ в ежедневной работе

Условия

* гарантированный доход плюс премиальное вознаграждение * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * ДМС с первого дня и льготное страхование для близких * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * корпоративная пенсионная программа * обучение за счет компании: онлайн курсы в Виртуальной школе Сбера, возможность получить новую квалификацию * реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс.руб * место работы: г. Санкт-Петербург, Шафировский проспект, 2