284B DeepSeek на 64 ГБ RAM без видеокарты: проект llama-modchip
Разработчик выпустил llama-modchip v2.4.0 — набор патчей для llama.cpp, позволяющий запускать 284-миллиардную модель DeepSeek-V4-Flash на CPU с 64 ГБ RAM без GPU.
Запустить фронтирную модель без GPU — реально
Инструмент с открытым исходным кодом Llama-modchip появился на Hacker News на этой неделе, открыв возможность локального инференса 284-миллиардных моделей вроде DeepSeek на машинах с 64 ГБ RAM и без выделенной видеокарты. Автор под ником synchopate выпустил llama-modchip версии 2.4.0 — опенсорсную архитектуру инференса, запускающую фронтирные MoE-модели на обычных рабочих станционных процессорах без видеокарт. Проект набирает внимание как наглядное доказательство: дорогостоящая GPU-инфраструктура больше не является обязательным условием для работы с моделями самого крупного класса.
Что такое DeepSeek-V4-Flash
DeepSeek-V4-Flash — это 284-миллиардная разреженная MoE (Mixture-of-Experts, смесь экспертов) языковая модель от DeepSeek-AI, в которой при каждом прямом проходе активируется лишь 13 миллиардов параметров. Это младший брат DeepSeek-V4-Pro (1,6T / 49B активных параметров) с таким же нативным контекстным окном в 1 миллион токенов и тремя режимами рассуждения.
Главная проблема: модель не влезала в 64 ГБ
Программа уменьшает объём памяти DeepSeek-V4-Flash со стандартных 76,87 ГиБ — при которых на 64-гигабайтных Linux-системах возникали OOM-крэши — до 56,56 ГиБ на диске.
Стандартная квантизация UD-IQ1_S занимала около 82,5 ГБ, что гарантировало нехватку памяти на типичном десктопе с 64 ГБ RAM. llama-modchip решает это двумя путями:
- Fractal-64 — собственный формат квантизации блоков по 64 веса с масштабом BF16, сжимающий веса MoE-экспертов до ~1,56 bpw (бит на вес).
- SwiGLU-H2 — метод аналитического сжатия на основе второго порядка (Hessian), который авторы называют «SwiGLU-H2 Hessian compression».
В итоге вся 284B-модель плюс контекст 256K умещаются в 57,61 ГиБ рабочей RAM — без своп-файла и без GPU.
Производительность на разном железе
Декодирование на CPU даёт 9,1–14,7 токена/с, а скорость обработки промпта (prefill) составляет 44,36 tok/s — это на 77,1% быстрее исходного показателя в 25,05 tok/s.
Оптимизация достигается через четырёхуровневый тайлинг: в версии v2.4.0 реализована четырёхуровневая схема тайлинга, охватывающая регистры AVX-512BW, кэши L1, L2 и L3.
graph TD
A[Модель на диске\n56.56 GiB] --> B[Загрузка в RAM\n57.61 GiB VmRSS]
B --> C{Тип железа}
C --> D[16–32 ГБ\nNemotron-30B\n25–60 tok/s]
C --> E[64 ГБ CPU\nDeepSeek-V4-Flash 284B\n9.1–14.7 tok/s decode]
C --> F[CPU + 16 ГБ GPU\nNemotron-30B\n80.8 tok/s]
C --> G[Threadripper 128 ГБ+\nDeepSeek-284B\n111 tok/s 30B MoE]
Сравнение конфигураций
| Железо | RAM | Модель | Скорость (0 GPU) |
|---|---|---|---|
| Ноутбук / Mini-PC | 16–32 ГБ | Nemotron-3.5-30B | 25–60 tok/s |
| Десктоп / сервер | 64 ГБ | DeepSeek-V4-Flash 284B | 9,1–14,7 tok/s |
| Гибрид (CPU + 16 ГБ GPU) | 32–64 ГБ | Nemotron-30B / Qwen3-30B | ~80 tok/s |
| Threadripper (8-канальный) | 128 ГБ+ | DeepSeek-284B / Nemotron-30B | 111 tok/s (30B) |
Быстрый старт
Проект доступен на GitHub. Для запуска без компиляции:
# Клонирование и запуск интерактивного чата
git clone https://github.com/synchopate/llama-modchip.git
cd llama-modchip
./modchip chat
Для 284B DeepSeek-V4-Flash на Linux x86_64 без компиляции:
# Скачать бинарник и модель с Hugging Face
hf download Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF --local-dir ./dsv4
chmod +x ./dsv4/llama-server-modchip-linux-x86_64
./dsv4/llama-server-modchip-linux-x86_64 \
-m ./dsv4/DeepSeek-V4-Flash-0731-Fractal-00001-of-00003.gguf \
-c 32768 -t 16 -fa on --port 8080
GGML_TYPE_Q2_0 (ID 40). Стандартные сборки llama.cpp, Ollama и LM Studio отклонят такие файлы с ошибкой unknown tensor type 40. Обязательно используйте бинарник llama-server-modchip-linux-x86_64 из репозитория.Дополнительные возможности
Помимо основного инференса llama-modchip включает несколько примечательных функций:
- Stockfish-PVS — спекулятивный черновик на основе n-грамм с L2/L3 кэшем (аналог алгоритма поиска из шахматного движка Stockfish), ускоряющий генерацию
- Мгновенное восстановление контекста — снапшоты KV-кэша в
/dev/shmс временем восстановления 13,1–32,6 мс для длинных агентских промптов - Поддержка Windows 10/11 — гибридный пакет GPU+CPU с автоопределением конфигурации железа
- Claude Code интеграция —
./modchip claudeзапускает Claude Code CLI с 40 инструментами через локальный движок
Почему это важно
Проект демонстрирует, что современные многоядерные CPU и компактные Mini-PC с 64–128 ГБ DDR5 RAM способны запускать 284B фронтирные MoE-модели локально при полном контексте 256K — устраняя требования к оборудованию стоимостью $30 000+.
Это открывает возможности для разработчиков, исследователей и энтузиастов, которые хотят работать с крупнейшими открытыми моделями локально — без облака, без GPU-сервера и без огромного бюджета на железо.