Квантизация

2 материала

Подробный разбор руководства Jamesob по запуску топовых LLM на своём железе: железо, квантизация, …

Полное руководство по ускорению инференса LLM: KV-кэш, квантизация, спекулятивное декодирование, MoE …