macOS VM + llama.cpp: в 16× быстрее на Apple Silicon

Thu, 13 Aug 2026 08:00:00 +0300

Когда «медленная VM» — это просто неправильно настроенный Metal

Представьте: вы запускаете llama.cpp внутри macOS-виртуальной машины на M1 Ultra, ожидаете хоть какое-то GPU-ускорение — и получаете 432 токена в секунду при обработке промпта. Кажется, неплохо? Только вот на bare-metal тот же чип выдаёт тысячи токенов. Виноват не гипервизор, не память и не квантизация — виновата пара строк в коде, из-за которых llama.cpp выбирает не те Metal-ядра внутри гостевой ОС.

Именно эту проблему вскрыла и решила команда проекта Cua. Результат — на M1 Ultra TinyLlama 1.1B в llama.cpp обрабатывает промпты в 11,08× быстрее, а генерирует токены в 16,36× быстрее по сравнению со стандартной VM без патча. И это не теория: обработка промптов достигла 98% от результата bare-metal.

MacOS VM on AI-Uchi — Всё об искусственном интеллекте

macOS VM + llama.cpp: в 16× быстрее на Apple Silicon

Когда «медленная VM» — это просто неправильно настроенный Metal