13
Oct
news
Microsoft BitNet: 1-битные LLM уходят на CPU и в распознавание речи
Microsoft обновила BitNet: новый движок VibeASR.cpp, первые 1-битные embedding-модели и ускорение до …
→
Квантизация
5
материалов
26
Sep
news
NVIDIA Model Optimizer: единая библиотека оптимизации ИИ-моделей
NVIDIA ModelOpt объединяет квантизацию, прунинг, дистилляцию и NAS в одну Python-библиотеку. W4A4 …
→
18
Jul
news
turbovec: векторный индекс на Rust, который бьёт FAISS
turbovec сжимает 10 млн векторов с 31 ГБ до 4 ГБ и обгоняет FAISS по скорости — на базе алгоритма …
→
05
Jul
article
Гайд Jamesob: запускаем SOTA LLM локально
Подробный разбор руководства Jamesob по запуску топовых LLM на своём железе: железо, квантизация, …
→
31
May
article
Оптимизация инференса больших трансформеров
Полное руководство по ускорению инференса LLM: KV-кэш, квантизация, спекулятивное декодирование, MoE …
→