◆ AI-Uchi
Статьи Переводы Новости Гайды Инструменты Промпты Глоссарий

VLLM

5 материалов
01 Nov
glossary

Speculative Decoding: как LLM научились генерировать текст в 3 раза быстрее

Speculative Decoding — техника ускорения вывода LLM без потери качества. Объясняем просто: черновик …

→
16 Jul
news

vLLM: главный движок для запуска LLM в продакшене

vLLM — открытый фреймворк для высокопроизводительного инференса LLM. Поддерживает 200+ моделей, …

→
14 Jun
news

LMCache: самый быстрый KV Cache для LLM-инференса

LMCache — открытый слой управления KV Cache для LLM. Новая MP-архитектура снижает TTFT в 13 раз и …

→
31 May
article

Оптимизация инференса больших трансформеров

Полное руководство по ускорению инференса LLM: KV-кэш, квантизация, спекулятивное декодирование, MoE …

→
09 May
news

vLLM ROCm теперь в Lemonade: новый бэкенд для AMD

В Lemonade v10.4 добавлен экспериментальный бэкенд vLLM ROCm для AMD Strix Halo. Запуск модели — …

→

Практика и обучение

Переходы учитываются через Яндекс.Метрику. Здесь можно отключить учёт рекламных блоков; общий счётчик посещений продолжит работать.

© 2026 AI-Uchi — Всё об искусственном интеллекте