Data Engineer (Agent Execution Framework)

Описание

Мы разрабатываем AEF (Agent Execution Framework) — платформу для управления AI-агентами в контуре банка. Платформа требует обработки больших объёмов данных: для развития агентов, мониторинга их работы и оценки качества (в том числе LLM-as-a-judge). Используем AI-инструменты в управлении требованиями, тестировании и разработке. Ищем Data-инженера, который выстроит надёжные ETL-процессы и обеспечит качество данных для платформы. **Чем можем похвастаться:** • мы строим будущее систем, где AI-агенты становятся основой digital-трансформации • быстрые итерации, прямой контакт в командах, открытое обсуждение проблем и предложений • работа на фронтире — видишь, как твои решения превращаются в рабочие продукты

Обязанности

### Чем предстоит заниматься: • разрабатывать и выводить в промышленный контур витрины данных • обрабатывать и поставлять данные для исследований в Лабораторный контур • консультировать пользователей по вопросам использования данных • создавать и актуализировать техническую документацию • создавать процедуры контроля качества данных и автоматизировать процессы проверки • проводить анализ структур данных в различных источниках и форматах.

Требования

### Мы ожидаем: • опыт работы в data engineering от 3 лет • опыт работы с AI-инструментами: GitHub Copilot, Claude Code или подобными • владение одним из языков программирования: Python или Scala • навыки работы с pyspark или spark • практическое владение технологическим стеком Hadoop (HDFS, YARN, Hive) • опыт обработки больших объемов данных в распределенных средах • уверенное знание SQL (сложные запросы, оптимизация) • опыт работы с реляционными СУБД (одна или несколько): Oracle, Teradata, MS SQL, Greenplum • понимание концепций и принципов организации хранилищ данных (DWH) • опыт проектирования витрин данных • опыт использования инструментов разработки GIT, DevOps. ### ### Будет плюсом: • опыт работы с инструментами оркестрации данных (Airflow, NiFi или аналоги) • опыт работы с потоковой обработкой данных (Kafka, Spark Streaming) • опыт работы с LLM API, подготовка данных для ML/AI-моделей • опыт построения пайплайнов для evals/оценки качества моделей • опыт работы в финтехе или в защищённом контуре

Условия

* гибридный формат работы * стабильный оклад и социальная поддержка сотрудников * расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * корпоративная пенсионная программа * корпоративное обучение за счет компании * реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 40 тыс. рублей * официальное оформление с первого дня * мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы * работу по Agile с лучшими из IT индустрии: 2000 продуктовых команд и возможность внутреннего перемещения.