Junior Data Engineer

Описание

Мы — команда, отвечающая за бесперебойную поставку данных в аналитическую платформу на базе Greenplum и ClickHouse. Наша работа — это фундамент, на котором аналитики и data scientists строят свои модели и принимают ключевые бизнес-решения. Мы ищем коллегу, который поможет нам поддерживать и развивать этот тракт данных, автоматизировать процессы и следить за качеством информации.

Обязанности

* обеспечивать поставку данных: загружать новые витрины данных в Лабораторию Greenplum и Clickhouse с помощью наших внутренних инструментов. Создавать собственные инструменты для поставки данных. * мониторить и оптимизировать: отслеживать состояние ETL-процессов (в Airflow и собственных решениях), реагировать на сбои, находить и устранять "бутылочные горлышки" в дата-пайплайнах для ускорения загрузки. * работать с качеством данных (Data Quality): разрабатывать и внедрять проверки качества на всех этапах, анализировать причины ошибок и исправлять их. * автоматизировать рутину: писать скрипты на Python для автоматизации повторяющихся задач по обработке данных. * вести документацию: разрабатывать и поддерживать техническую документацию и базу знаний по нашим процессам. * участвовать в R&D: тестировать новые технологии и инструменты для улучшения нашей платформы.

Требования

* SQL: уверенное владение: сложные запросы, оконные функции, CTE, умение читать планы выполнения для оптимизации. * Python: навыки программирования, опыт работы с библиотекой Pandas для обработки данных, написания скриптов для автоматизации рутины * теоретическая база: понимание принципов работы реляционных СУБД, архитектуры DWH/витрин данных и ETL/ELT-процессов. * инструменты: опыт использования планировщиков задач (Airflow или аналоги). * проактивность: желание развиваться в области инженерии данных, учиться новому и самостоятельно решать сложные проблемы. * коммуникация и командная работа: способность не только самостоятельно решать задачи, но и эффективно взаимодействовать с другими командами. * английский: свободное чтение технической документации * навыки работы с генеративными AI-моделями; опыт * создания AI-агентов и использования их в работе будет преимуществом * опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов * инструментальное владение AI для анализа, генерации и автоматизаци

Условия

* офисный формат (Поклонная 3к1) * ежегодный пересмотр зарплаты и годовая премия * расширенный ДМС и льготное страхование для семьи * уникальная система обучения Сбера для профессионального и карьерного развития * выгодная ипотека для сотрудников * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера * корпоративная пенсионная программа.