Data Engineer

Описание

Мы — команда специалистов, создающая сервисы и компоненты для платформы внутренней безопасности, а также разрабатывающая AI-агенты для выявления внутренних угроз и мошенничества. Нам нужен специалист, способный эффективно анализировать табличные и текстовые данные, необходимые для построения AI-агентов. Ищем Data Engineer c уклоном в Data Science, которому предстоит заниматься извлечением, подготовкой и очисткой данных, а также поддержкой моделей машинного обучения. Мы предлагаем карьерный рост как в Data Engineering, так и в Data Science направлениях. Ты станешь частью команды опытных инженеров и аналитиков, работающих над сложными проектами в сфере информационной безопасности.

Обязанности

·      Анализ структур данных в разных источниках и форматов, оценка их пригодности для конкретных бизнес-задач; ·      Загрузка, обработка и преобразование больших объемов данных из разнородных хранилищ (Oracle, Teradata, MS SQL, GreenPlum) в рабочие среды (GreenPlum, Hadoop); ·      Проектирование и создание аналитических витрин данных; ·      Подготовка и препроцессинг данных для обучения моделей машинного обучения; ·      Мониторинг и оптимизация рабочих процессов обработки и загрузки данных; ·      Контроль качества входных данных и автоматизация проверки качества данных; ·      Разработка инфраструктуры и внутренних сервисов для эффективной обработки больших объемов данных; ·      Автоматизация повторяющихся операций с данными; ·      Создание технической документации и поддержка баз знаний по работе с данными; ·      Консультация пользователей внутри компании по вопросам использования данных.

Требования

·      Опыт работы от 1 года в роли Data Engineer, Data Analyst или ETL-разработчика; ·      Продвинутый уровень владения SQL (аналитические функции, подзапросы, хранимые процедуры, производительность запросов); ·      Практический опыт работы с большими объемами данных в реляционных СУБД (Oracle, Teradata, MS SQL, GreenPlum); ·      Понимание концепции и принципов организации хранилища данных (DWH); ·      Преимуществом будет наличие опыта проектирования витрин данных; ·      Полезным будет знакомство с технологиями экосистемы Big Data (Hadoop, Spark, Hive/Impala); ·      Базовые знания банковской сферы будут дополнительным плюсом; ·      Приветствуется опыт работы в гибких методологиях управления проектами (Agile, SCRUM, Kanban). **Дополнительные ожидания:** ·      Желаемый опыт работы от 2-х лет в смежных ролях (DE, DS, Python-разработчик); ·      Хорошее знание SQL, включая работу с аналитическими функциями, подзапросами, процедурами и функциями, оптимизацию производительности запросов; ·      Работа с технологическим стеком Hadoop (HDFS, YARN, Hive) и Apache Spark; ·      Опыт программирования на Java/Scala; ·      Готовность глубоко погружаться в изучение архитектуры существующих баз данных и документации по структурам данных; ·      Понимание базовых принципов построения распределенных систем хранения и обработки данных. **Будет плюсом:** ·        Опыт переноса и интеграции больших объемов данных между разными источниками; ·        Владение инструментами системы контроля версий (например Git); ·        Начальные знания и интерес к развитию в области Machine Learning и Data Analysis; ·        Осведомленность в процессах ETL и технологиях хранилищ данных (DWH).

Условия

* гибрид, метро Тульская \\ Кутузовская; * ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких; * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров:, СберМаркет, DeliveryClub, Самокат, СберЕаптека и других * корпоративная пенсионная программа; * корпоративное обучение за счет компании; * реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс. рублей; * корпоративный спортзал и скидки в спортзалы-партнеры.