Data engineer GigaData

Описание

Проект: Создаем поисковый сервис для ответа на запросы пользователей на естественном языке. Ломаем барьер между статичными знаниями языковой модели и постоянно меняющимся миром. Предоставляем GigaChat доступ к актуальной информации, чтобы пользователи получали точные ответы на любые вопросы, включая вопросы о свежих новостях и событиях.

Обязанности

* разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивать корректность и полноту сбора, оптимизировать процессы таким образом, чтобы все работало быстрее и без ручного вмешательства * разрабатывать пайплайны для предобработки данных и преобразовывать их в формат, оптимальный для дальнейшего хранения, обработки и использования в задачах поиска * проектировать и реализовывать хранилища, которые позволили бы эффективно решать задачи поиска * применять машинное обучение и искусственный интеллект для улучшения результатов работы, поддерживать корректную работу системы – мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых.

Требования

* опыт работы с движками для распределенной обработки данных (**Spark**, Trino), оркестраторы **Airflow** * умение проектировать DWH, Data Lake, Data Management Platform * опыт построения и развития высоконагруженных систем * опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB - 1PB+) * продвинутый уровень **владения Python и SQL** ### БУДЕТ ПЛЮСОМ: * опыт работы с таблицами формата Iceberg * опыт работы с индексами ElasticSearch/OpenSearch * опыт работы с GPU (инференс моделей).

Условия

* комфортный современный офис - м. Кутузовская * ежегодный пересмотр зарплаты, годовой бонус * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера * корпоративная пенсионная программа.