ML Engineer / Python Developer

Описание

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Ждем именно тебя! Мы – команда экспертов, объединенных общей страстью к искусственному интеллекту и рекомендательным системам (RecSys). Нашей главной задачей является создание современной, масштабируемой рекомендательной платформы, способной предвосхищать ожидания пользователей, предлагая персонализированные рекомендации на каждом этапе их взаимодействия с экосистемой Сбер. Наши решения охватывают широкий спектр отраслей: от финансов и e-commerce до индустрии развлечений и здравоохранения. Развитие нашей платформы строится вокруг внедрения новых SOTA-моделей. Мы следим за мировыми трендами, экспериментируем с новыми подходами, внедряем их как часть платформы и доводим до конкретного применения в бизнесе. Ищем Machine Learning Engineer в команду для вывода в ПРОМ рекомендательных моделей Банка. Мы работаем с огромным количеством данных, и высоконагруженными сервисами, что делает нашу работу не только важной, но и технически интересной. Также от нас напрямую зависит развитие самого продукта рекомендательной платформы в Банке, так как именно мы определяем ключевые точки ее роста. Если вам близка идея быть первопроходцем, и вы хотите стоять у истоков новой технологии, присоединяйтесь к нам!

Обязанности

* Разработка и совершенствование End-to-End ML-пайплайнов; * Разработка продакшен-пайплайнов обработки данных; * Работа с огромными объёмами данных Сбера (петабайты) на PySpark, исследование подходов применения их в моделях; * Писать эффективный и масштабируемый код для тренировки и инференса моделей на PyTorch, проводить эксперименты на GPU-кластере; * Performance оптимизации кода по обработке больших массивов данных или онлайн сервисов рекомендаций с высокой нагрузкой; * Менторинг младших членов команды, обмен знаниями и экспертизой.

Требования

* Математический бэкграунд; * Хорошее знание Python и ключевых фреймворков для работы с данными (PySpark, PyArrow, Pandas); * Опыт написания качественного production кода; * Опыт написания промышленных пайплайнов обработки данных, содержащих множество шагов, зависимостей и сложную логику; * Опыт использования Airflow (или другого industry-standard оркестраторов пайплайнов, т.к. Luigi, Dagster и т.д.); * Хорошее понимание баз данных SQL / NoSQL. **Будет плюсом:** * Опыт работы с Kubernetes; * Опыт работы с MLFlow (или другими аналогичными инструментами); * Опыт распределенного обучение больших моделей на GPU-кластере; * Опыт или образование в области финансов, банкинга; * Опыт реализации online inference в условиях высокой нагрузки; * Опыт оптимизации пайплайнов препроцессинга данных под highload. **Стек технологий:** * Python, PySpark, Airflow, Kubernetes, FastAPI, S3, PyTorch, MLFlow, Jira, Confluence, Git.

Условия

* Гибридный/офисный формат работы (опционально) * Годовой бонус и ежегодный пересмотр * Расширенный ДМС с первого дня + стоматология и льготное страхование для семьи * Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях * Офис на Кутузовской с зонами отдыха и спортзалом * 90 дней удаленной работы из любого региона РФ (не применимо для сопровождения) * Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.