18
Jul
news
turbovec: векторный индекс на Rust, который бьёт FAISS
turbovec сжимает 10 млн векторов с 31 ГБ до 4 ГБ и обгоняет FAISS по скорости — на базе алгоритма …
→
Квантизация
3
материала
05
Jul
article
Гайд Jamesob: запускаем SOTA LLM локально
Подробный разбор руководства Jamesob по запуску топовых LLM на своём железе: железо, квантизация, …
→
31
May
article
Оптимизация инференса больших трансформеров
Полное руководство по ускорению инференса LLM: KV-кэш, квантизация, спекулятивное декодирование, MoE …
→