Data Engineer

Описание

Вы можете присоединиться к команде, которая занимается генеративной аналитикой и исследованиями того, как лучше решать существующие задачи с помощью RAG. Вы будете: заниматься поиском и внедрением передовых подходов к работе с данными с использованием ИИ. Исследовать, как применение передовых фреймворков для работы с RAG и LLM в целом влияет на результат. Создавать и поддерживать эффективные ETL-пайплайны, чтобы поставлять в систему свежие данные для работы с ними с помощью RAG. Предлагать улучшения и варианты оптимизации существующей инфраструктуры, чтобы работать еще быстрее и с бóльшим количеством данных.

Обязанности

* разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивать корректность и полноту сбора, оптимизировать процессы таким образом, чтобы все работало быстрее и без ручного вмешательства * разрабатывать пайплайны для предобработки данных и преобразовывать их в формат, оптимальный для дальнейшего хранения, обработки и использования для RAG * проектировать и реализовывать хранилища, которые позволили бы эффективно решать задачи, связанные с RAG * применять машинное обучение и искусственный интеллект для улучшения результатов работы * поддерживать корректную работу системы – мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых

Требования

* умение проектировать DWH, Data Lake, Data Management Platform * опыт построения и развития высоконагруженных систем * опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB - 1PB+) * продвинутый уровень владения Python и SQL * опыт работы с движками для распределенной обработки данных (Spark, Trino) * опыт работы с очередями сообщений (Kafka, RabbitMQ) * опыт работы с MPP базами данных и понимание их внутреннего устройства (ClickHouse, Greenplum, Vertica) * базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform, CI/CD Будет плюсом * опыт работы с облачными платформами (AWS, GCP, SberCloud) * опыт работы с объектными хранилищами (S3, MinIO, Ceph) * опыт backend-разработки * опыт администрирования БД * опыт разработки на GoLang

Условия

* комфортный современный офис рядом с м. Кутузовская * гибридный формат работы * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * система обучения для профессионального и карьерного развития * расширенный полис ДМС с первого дня работы и страхование для семьи * программа ипотеки для сотрудников * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера