Metal on AI-Uchi — Всё об искусственном интеллекте

macOS VM + llama.cpp: в 16× быстрее на Apple Silicon

Thu, 13 Aug 2026 08:00:00 +0300

Когда «медленная VM» — это просто неправильно настроенный Metal

Представьте: вы запускаете llama.cpp внутри macOS-виртуальной машины на M1 Ultra, ожидаете хоть какое-то GPU-ускорение — и получаете 432 токена в секунду при обработке промпта. Кажется, неплохо? Только вот на bare-metal тот же чип выдаёт тысячи токенов. Виноват не гипервизор, не память и не квантизация — виновата пара строк в коде, из-за которых llama.cpp выбирает не те Metal-ядра внутри гостевой ОС.

Именно эту проблему вскрыла и решила команда проекта Cua. Результат — на M1 Ultra TinyLlama 1.1B в llama.cpp обрабатывает промпты в 11,08× быстрее, а генерирует токены в 16,36× быстрее по сравнению со стандартной VM без патча. И это не теория: обработка промптов достигла 98% от результата bare-metal.

DwarfStar: локальный движок для DeepSeek V4 Flash и PRO

Mon, 03 Aug 2026 03:10:52 +0300

Запуск frontier-модели без облака — теперь на вашем MacBook

Сальваторе Санфилиппо (antirez) — итальянский разработчик и автор Redis — тихо выпустил написанный с нуля на C inference-движок, который запускает DeepSeek V4 локально и умеет работать с Claude Code. Проект называется DwarfStar и оптимизирован прежде всего под DeepSeek V4 Flash, а на машинах с очень большим объёмом памяти поддерживает и DeepSeek V4 PRO, а также GLM 5.2. Движок написан на C, GPU-бэкенды реализованы на Objective-C (Metal), CUDA и HIP/ROCm.

Gemma 4 26B в 2 ГБ RAM: магия TurboFieldfare на Mac

Fri, 31 Jul 2026 08:00:00 +0300

Введение: 26 миллиардов параметров в кармане

Представьте: вы открываете MacBook Air с базовыми 8 ГБ памяти — и запускаете языковую модель с 26 миллиардами параметров. Без облака, без подписки, без GPU за $5000. Именно это стало реальностью благодаря проекту TurboFieldfare — специализированному движку для инференса, появившемуся на Hacker News и мгновенно привлёкшему внимание разработчиков.

Автор собрал специализированный движок для запуска 4-bit Gemma 4 26B-A4B-IT на любом Mac с чипом M-серии, используя около 2 ГБ оперативной памяти. Это звучит почти невозможно — ведь стандартный 4-bit вариант модели занимает 14–18 ГБ. Как это работает и почему это важно — разбираемся в этой статье.