Data Engineer (Исследования и AI)

Описание

Наша команда разрабатывает ML модели для корпоративного бизнеса, полностью выполняет весь цикл работ: от сбора и анализа данных до разработки/внедрения моделей в ПРОМ и А/Б тестирования. Мы работаем как с классическими ML моделями, так и с передовыми SoTA архитектурами, включая большие генеративные языковые LLM и GPT-like модели. Команда разрабатывает инновационные решения для бизнеса: AutoML-пайплайны и AI-агенты на базе LLM (Giga Chat).

Обязанности

* Поддерживать витрины с фичами для ML-моделей в актуальном состоянии, обеспечивать качество данных * Создавать BI-дашборды для автомониторинга моделей * Подготавливать тестовые и синтетические данные для внедрения ML-моделей * Анализировать требования бизнеса по получению новых данных, оценивать наличие этих данных и их структуру * Внедрять в промышленный контур витрины с фичами для обучения и инференса моделей, разрабатывать спецификации и релизную документацию * Разрабатывать интеграции по части данных для сервисов с AI-агентами, проводить тестирование.

Требования

* Опыт работы дата-инженером/аналитиком-данных от 2-х лет * Опыт работы с экосистемой Hadoop и в Apache Spark (или pySpark) * Знание SQL (JOINы, агрегаты, группировки, вложенные запросы, индексы, оконные функции) * Понимание процессов ETL и внутреннего устройства DWH/DataLake * Знание основных структур и форматов данных, протоколов передачи данных. Будет плюсом: * Опыт промышленной разработки (Python или Java/Scala) * Базовые знания CI/CD * Опыт работы с брокерами сообщений и оркестрацией потоков * Базовые знания ML или желание развиваться в данном направлении.

Условия

* Формат работы - офис (ст.м.Кутузовская) * Ежегодный пересмотр зарплаты и годовая премия * Корпоративный спортзал и зоны отдыха * Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * Вознаграждение за рекомендацию друзей в команду Сбера.