Быстрый старт для тех, кто хочет запускать LLM

vLLM — быстрая и удобная библиотека для инференса и сервинга LLM. Изначально разработанная в Sky Computing Lab Калифорнийского университета в Беркли, она выросла в один из самых активных open-source AI-проектов с более чем 2000 участниками из десятков академических организаций и компаний. Сегодня это де-факто стандарт для развёртывания языковых моделей в продакшене — от стартапов до крупных облачных платформ.

ℹ Актуальная версия
Последний крупный релиз vLLM включает 558 коммитов от 232 участников, из которых 64 — новые контрибьюторы. Проект развивается по расписанию: новый патч-релиз выходит каждые две недели.

Что внутри: ключевые технологии

PagedAttention — революция в управлении памятью

vLLM использует PagedAttention — новый механизм внимания, вдохновлённый концепцией виртуальной памяти из операционных систем, который резко снижает фрагментацию памяти и позволяет обрабатывать бо́льшие батчи.

Существующие системы теряют 60–80% KV-кэша (памяти LLM), тогда как vLLM достигает почти оптимального использования памяти — потери составляют менее 4%.

«Тысячи компаний используют vLLM для снижения затрат на инференс» — официальный сайт проекта.

Производительность против конкурентов

Эксперименты показывают: vLLM достигает до 24x более высокой пропускной способности по сравнению с TGI при высоконагруженных сценариях благодаря механизму PagedAttention.

При высокой конкурентности vLLM достигает 85–92% загрузки GPU, что обеспечивается эффективным continuous batching и сниженными накладными расходами на память.

МетрикаvLLMHuggingFace TGI
Утилизация GPU (high concurrency)85–92%68–74%
Максимальный прирост пропускной способностидо 24x—
Оптимален дляBatch-инференс, продакшенИнтерактивные запросы
Поддержка квантованияFP8, INT4, GPTQ, AWQ, GGUF и др.Ограниченная
Поддержка моделей200+ архитектурПопулярные модели

Что нового в последних релизах

Model Runner V2 теперь стал стандартным путём выполнения для всех dense-моделей. Он добавляет поддержку EVS, realtime embeddings, prefix caching для Mamba-гибридов, мультимодального bidirectional attention и динамического speculative decoding, совместимого с полными CUDA graphs.

Оригинальная реализация PagedAttention была удалена: устаревший бэкенд упразднён теперь, когда V1/MRv2 стали стандартным путём выполнения.

Бэкенд Transformers для моделирования теперь работает так же быстро, как нативный vLLM, и получил поддержку FP8 MoE.

💡 Совет по установке

Рекомендуемый способ установки через uv — быстрее, чем стандартный pip:

uv pip install vllm

Для самой свежей версии используйте флаг автовыбора бэкенда:

uv pip install vllm --torch-backend auto

Поддерживаемые модели и железо

vLLM без изменений поддерживает 200+ архитектур моделей на Hugging Face. В их числе:

  • Decoder-only LLM: Llama, Qwen, Gemma
  • Mixture-of-Experts: Mixtral, DeepSeek-V3, Qwen-MoE
  • Мультимодальные: LLaVA, Qwen-VL, Pixtral
  • Embedding и retrieval: E5-Mistral, GTE, ColBERT
  • Гибридные (SSM + Attention): Mamba, Qwen3.5

По части железа поддерживаются GPU NVIDIA и AMD, процессоры x86/ARM/PowerPC, а также специализированные ускорители — Google TPU, Intel Gaudi, IBM Spyre, Huawei Ascend, Apple Silicon и другие.


graph TD
    A[Входящий запрос] --> B[OpenAI-compatible API]
    B --> C[Continuous Batching]
    C --> D{Тип задачи}
    D -->|Text| E[LLM Decoder]
    D -->|Multimodal| F[Vision + LLM]
    D -->|Embedding| G[Encoder]
    E --> H[PagedAttention / FlashAttention]
    F --> H
    G --> H
    H --> I[Квантование: FP8/INT4/GPTQ]
    I --> J[Ответ пользователю]

Как это меняет рынок

Благодаря PagedAttention и continuous batching, vLLM спроектирован для самых требовательных нагрузок: он используется для создания генеративных AI-приложений, чат-ботов и API для генерации текста, суммаризации и перевода.

Согласно данным блога vLLM, фреймворк достигает 2,2k токенов в секунду на H200 для DeepSeek-style MoE, используя Wide-EP, асинхронное расписание, disaggregated serving и CUDA graphs.

TPU-бэкенд vLLM значительно производительнее первого прототипа, выпущенного в начале 2025 года, с улучшенной поддержкой моделей и покрытием функций.

📝 Реальный кейс
Организация LMSYS, стоящая за Chatbot Arena и Vicuna, сократила число GPU для обслуживания ~45k ежедневных запросов на 50%, одновременно обрабатывая в 2–3 раза больше запросов в секунду.
⚠ Для разработчиков
vLLM публикует внутренние бенчмарки, сравнивая производительность с другими движками: TensorRT-LLM, SGLang и LMDeploy. Перед выбором стека для продакшена рекомендуется прогнать тесты на своём железе и паттернах нагрузки.

vLLM сегодня — это не просто библиотека. Это целая экосистема для промышленного деплоя LLM: от ноутбука разработчика до кластера из сотен GPU с поддержкой всего спектра современных архитектур моделей.