🔥

Не упустите лучшие вакансии!

Подключите наш Telegram-бот и получайте мгновенные уведомления о новых предложениях из 10+ источников. Будьте первым, кто откликнется!

Подключить бота

Старший разработчик в команду LLM Inference Optimization

Авито
Москва
Удаленно
Опубликовано: 19 Nov 2026

О команде

Наша команда развивает направление оптимизации инференса LLM на GPU Авито. Мы повышаем эффективность использования оборудования и помогаем продуктовым командам запускать модели с учётом профиля нагрузки, качества и метрик производительности.

Какие задачи вас ждут:

  • проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под конкретные сценарии использования;
  • развивать методику оценки производительности LLM на нашем оборудовании: бенчмарки, инструменты и мониторинг;
  • регулярно замерять производительность, отслеживать выход новых моделей и поддерживать таблицу результатов;
  • тестировать новые GPU и сопровождать их настройку вместе с командами инфраструктуры и платформы инференса;
  • масштабировать оптимизации на весь парк моделей: спекулятивное декодирование, мульти-LoRA, распределённый инференс, переход на новые инференс-бэкенды;
  • доводить изменения до продакшена по циклу — профилировать, оптимизировать, тестировать, внедрять при подтверждённых метриках;
  • запускать LLM-модели с использованием платформы инференса.

Мы ждём, что вы:

  • оптимизировали LLM-модели с учётом профиля нагрузки;
  • работали с инференс-фреймворками LLM: vLLM, SGLang, TensorRT-LLM и другими, запускали и настраивали их, подбирали параметры;
  • знаете, как устроен LLM-инференс, и понимаете методы оптимизации: prefill и decode, KV-кеш, batching, спекулятивное декодирование, квантизация;
  • знаете принципы работы GPU: память, пропускная способность, утилизация, NVLink, конфигурации с несколькими GPU;
  • профилировали GPU и работали с инструментами для мониторинга;
  • проводили нагрузочное тестирование и бенчмаркинг LLM-моделей: latency, TTFT, TPOT, throughput, и тд, умеете корректно сравнивать результаты и делать выводы;
  • работали с Docker, Kubernetes, метриками и дашбордами Prometheus, Grafana;
  • готовы внедрять изменения в продакшен, поддерживать их и объяснять результат продуктовым командам.

Будет здорово, если вы:

  • писали или оптимизировали CUDA-кернелы, понимаете SIMT и архитектуру GPU NVIDIA;
  • внедряли спекулятивное декодирование, мульти-LoRA-сервинг или распределённый инференс;
  • работали с роутингом и балансировкой с учётом KV-кеша: llm-d, NVIDIA Dynamo, Mooncake или аналогами;
  • знаете C++ или Go;
  • следите за статьями и проектами с открытым исходным кодом по ускорению инференса и быстро проверяете идеи на практике.

Работа у нас — это:

  • расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;
  • сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких;
  • корпоративный спорт: групповые тренировки, велбиинг-приложение;
  • спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование;
  • компенсация питания;
  • инженерная свобода для реализации масштабных задач;
  • продуктовый подход к инфраструктуре, который базируется на метриках;
  • сильное инженерное комьюнити, готовое поддержать и поделиться опытом;
  • эффективные инструменты для роста и развития: матрица компетенций, внутреннее обучение, менторство и обмен опытом.
🚀

Ваше резюме увидят первым!

Автоматическое поднятие на HeadHunter каждые 4 часа. Увеличьте свои шансы на успех в 10 раз!

Подключить автоподнятие