Data Engineer

Описание

Мы — команда, создающая ядро интеллектуальных сервисов для амбициозной международной аналитической платформы. Наш продукт помогает бизнесу принимать стратегические решения на глобальных рынках, предоставляя уникальные инструменты для поиска, анализа и прогнозирования на основе любых типов данных — от новостных лент до внутренних баз знаний. Мы ищем опытного и системно мыслящего Data Engineer. Вам предстоит построить надежный фундамент данных для всей платформы, разрабатывая масштабируемые пайплайны и решая нетривиальные задачи по извлечению информации из самых разных источников.

Обязанности

* **у**частвовать в разработке архитектуры хранения и обработки больших объемов структурированных и неструктурированных данных * **р**азрабатывать и поддерживать парсеры для веб-сайтов и Telegram-каналов, а также интегрироваться с различными API * **с**оздавать, автоматизировать и поддерживать надежные ETL/ELT пайплайны для регулярного сбора, очистки, трансформации и загрузки данных с использованием современных инструментов (например, Airflow, Prefect, Dagster) * **с**оздавать и применять ИИ-агентов (на базе LLM) для автоматизации процессов сбора, предварительной классификации и валидации данных, повышая эффективность своей работы * **р**азрабатывать логические и физические модели данных в PostgreSQL, оптимизировать структуру баз данных для аналитических и ML-запросов * **в**недрять практики CI/CD для пайплайнов, настраивать мониторинг качества данных, анализировать и устранять инциденты.

Требования

* опыт работы Data Engineer от 3-х лет * уверенное владение Python и его экосистемой для работы с данными (Pandas, Polars, SQLAlchemy и др.) * глубокое знание SQL, умение писать сложные, оптимизированные запросы. * опыт проектирования и администрирования баз данных на PostgreSQL, Milvus (индексы, партиционирование, оптимизация запросов). * **экспертизой в сборе данных (Data Acquisition):** * практический опыт разработки веб-парсеров с использованием фреймворков (например, **Scrapy, Playwright, Selenium, BeautifulSoup**). * опыт работы с асинхронностью (**asyncio**). * опыт сбора данных из мессенджеров (например,через Telethon/Pyrogram для Telegram). * **опытом построения пайплайнов:** * Опыт проектирования и поддержки ETL/ELT процессов. * Практический опыт работы с одним из оркестраторов (**Apache Airflow, Prefect, Dagster**). * **Сильными DevOps навыками:** * Опыт работы с **Docker** для контейнеризации приложений. * Понимание принципов CI/CD и опыт их применения (например, **GitLab CI**). * Уверенное владение Git. **Будет большим плюсом** * Опыт работы с **Kubernetes**. * Опыт работы с брокерами сообщений (например, **Kafka, RabbitMQ**). * Знакомство с инструментами для обработки больших данных (**Apache Spark**). * Опыт работы с векторными или графовыми базами данных. * Опыт применения LLM (например, через **LangGraph/LangChain**) для решения задач обработки данных.

Условия

* гибкий формат работы * ежегодный пересмотр зарплаты и годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.