AI/ML Engineer — Distributed Training on GPU Clusters (MLOps)

Наш клиент создаёт платформу, которая позволяет обучать AI-модели (включая LLM) на простаивающих GPU в дата-центрах.  

Наша задача — построить распределённую систему, которая принимает зашифрованные данные клиентов, запускает обучение в разных дата-центрах и возвращает результаты с максимальной производительностью и устойчивостью.

Ищем инженера, который поможет спроектировать и реализовать core-компоненты распределённого ML-пайплайна.

- Разработка пайплайна обучения моделей (LLM, классические ML, мультимодальные модели).

- Интеграция PyTorch/TensorFlow/JAX с нашей compute-платформой.

- Настройка и оптимизация распределённого обучения (Data Parallel, Model Parallel, FSDP/ZeRO, DDP).

- Разработка и оптимизация контейнеров для задач обучения (Docker + Kubernetes + GPU).

- Создание и поддержка пайплайна: загрузка данных → подготовка → обучение → выгрузка артефактов.

- Работа с GPU-профилированием и оптимизацией (CUDA/NCCL).

- Взаимодействие с backend-инженерами для определения API job-орchestration.

- Настройка мониторинга: метрики, логи, профайлинг обучения.

- Исследование и тестирование новых фреймворков и подходов для ускорения LLM-обучения.

- Возможность влиять на архитектуру compute-платформы с самого начала.

- Работа с десятками/сотнями GPU в разных дата-центрах.

- Свобода в выборе технологий для оптимального ML-пайплайна.

- Сложные технические задачи, быстрое принятие решений, отсутствие бюрократии.

- Роль, которая напрямую влияет на рост бизнеса.