20
Jul
news
KTransformers: запуск 100B+ моделей на потребительском железе
KTransformers — фреймворк для гетерогенного инференса LLM на CPU+GPU. Поддержка MiniMax-M3, GLM-5.2, …
→
KTransformers — фреймворк для гетерогенного инференса LLM на CPU+GPU. Поддержка MiniMax-M3, GLM-5.2, …
LMCache — открытый слой управления KV Cache для LLM. Новая MP-архитектура снижает TTFT в 13 раз и …