Lead Data Engineer.

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ Мы строим масштабные end-to-end ML решения, развиваем высоконагруженную ML-инфраструктуру с нейросетями и десятками тысяч признаков, векторными, реляционными и in-memory базами данных. Обеспечиваем ежедневный и онлайн инференс ML-моделей по базе свыше 100 миллионов клиентов. Мы ищем опытного Lead/Senior DE / MLOps инженера в нашу команду. Если ты готов решать сложные инфраструктурные задачи на стыке Big Data и MLOps, обеспечивать эффективность работы дата пайплайнов и offline ML-сервисов, выстраивать взаимодействие с MLE/backend и командами платформы DWH и DevOps — нам по пути!

Обязанности

• Проектирование и сопровождение ETL/ELT пайплайнов для Feature Store и аналитических витрин (Airflow, Spark, Feast, ClickHouse, S3).
• Разработка и поддержка офлайн (batch) сервисов инференса ML-моделей
• Архитектурное проектирование хранилищ и систем обработки данных с обеспечением масштабируемости и отказоустойчивости
• Управление данными и инфраструктурными ресурсами с соблюдением Data Governance и стандартов naming conventions
• Участие в построении и поддержке интеграции inference сервисов с клиентскими приложениями и DWH с использованием брокеров Kafka/RabbitMQ
• Настройка мониторинга и алертинга качества моделей, метрик и ресурсов (Airflow, s3, clickhouse)
• Совместная работа c командой платформы DWH по развитию корпоративного хранилища данных и обучению команды ML инструментам по работе с данными

Требования

• Опыт работы в Data Engineering/MLOps не менее 5 лет.
• Уверенное владение Python, SQL, знание DWH-концепций.
• Опыт с Airflow, Kubeflow, Spark, Kafka, RabbitMQ, ClickHouse, PostgreSQL, Milvus или другими векторными БД.
• Навыки работы с контейнерами (Docker, Kubernetes), CI/CD, мониторингом (Prometheus, Grafana).
• Опыт с Feature Store (Feast и т.п.) и API разработкой (REST/gRPC) будет плюсом.