Data Engineer

Вы можете присоединиться к команде, которая занимается генеративной аналитикой и исследованиями того, как лучше решать существующие задачи с помощью RAG.

Вы будете: заниматься поиском и внедрением передовых подходов к работе с данными с использованием ИИ. Исследовать, как применение передовых фреймворков для работы с RAG и LLM в целом влияет на результат. Создавать и поддерживать эффективные ETL-пайплайны, чтобы поставлять в систему свежие данные для работы с ними с помощью RAG. Предлагать улучшения и варианты оптимизации существующей инфраструктуры, чтобы работать еще быстрее и с большим количеством данных.

Обязанности

• Разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивать корректность и полноту сбора, оптимизировать процессы таким образом, чтобы все работало быстрее и без ручного вмешательства.
• Разрабатывать пайплайны для предобработки данных и преобразовывать их в формат, оптимальный для дальнейшего хранения, обработки и использования для RAG.
• Проектировать и реализовывать хранилища, которые позволили бы эффективно решать задачи, связанные с RAG.
• Применять машинное обучение и искусственный интеллект для улучшения результатов работы.
• Поддерживать корректную работу системы — мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых.

Требования

• Умение проектировать DWH, Data Lake, Data Management Platform.
• Опыт построения и развития высоконагруженных систем.
• Опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB — 1PB+).
• Продвинутый уровень владения Python и SQL.
• Опыт работы с движками для распределенной обработки данных (Spark, Trino).
• Опыт работы с очередями сообщений (Kafka, RabbitMQ).
• Опыт работы с MPP базами данных и понимание их внутреннего устройства (ClickHouse, Greenplum, Vertica).
• Базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform, CI/CD).

Условия

• Комфортный современный офис рядом с м. Кутузовская.
• Гибридный формат работы.
• Ежегодный пересмотр зарплаты, годовая премия.
• Корпоративный спортзал и зоны отдыха.
• Система обучения для профессионального и карьерного развития.
• Расширенный полис ДМС с первого дня работы и страхование для семьи.
• Программа ипотеки для сотрудников.
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
• Вознаграждение за рекомендацию друзей в команду Сбера.