Запустить фронтирную модель без GPU — реально

Инструмент с открытым исходным кодом Llama-modchip появился на Hacker News на этой неделе, открыв возможность локального инференса 284-миллиардных моделей вроде DeepSeek на машинах с 64 ГБ RAM и без выделенной видеокарты. Автор под ником synchopate выпустил llama-modchip версии 2.4.0 — опенсорсную архитектуру инференса, запускающую фронтирные MoE-модели на обычных рабочих станционных процессорах без видеокарт. Проект набирает внимание как наглядное доказательство: дорогостоящая GPU-инфраструктура больше не является обязательным условием для работы с моделями самого крупного класса.


Что такое DeepSeek-V4-Flash

DeepSeek-V4-Flash — это 284-миллиардная разреженная MoE (Mixture-of-Experts, смесь экспертов) языковая модель от DeepSeek-AI, в которой при каждом прямом проходе активируется лишь 13 миллиардов параметров. Это младший брат DeepSeek-V4-Pro (1,6T / 49B активных параметров) с таким же нативным контекстным окном в 1 миллион токенов и тремя режимами рассуждения.

ℹ Архитектура MoE
MoE (Mixture-of-Experts) — подход, при котором нейросеть содержит множество независимых «экспертных» блоков, но обрабатывает каждый токен только через небольшое их подмножество. Благодаря этому модель с 284B параметрами тратит вычисления примерно как 13B-модель.

Главная проблема: модель не влезала в 64 ГБ

Программа уменьшает объём памяти DeepSeek-V4-Flash со стандартных 76,87 ГиБ — при которых на 64-гигабайтных Linux-системах возникали OOM-крэши — до 56,56 ГиБ на диске.

Стандартная квантизация UD-IQ1_S занимала около 82,5 ГБ, что гарантировало нехватку памяти на типичном десктопе с 64 ГБ RAM. llama-modchip решает это двумя путями:

  1. Fractal-64 — собственный формат квантизации блоков по 64 веса с масштабом BF16, сжимающий веса MoE-экспертов до ~1,56 bpw (бит на вес).
  2. SwiGLU-H2 — метод аналитического сжатия на основе второго порядка (Hessian), который авторы называют «SwiGLU-H2 Hessian compression».

В итоге вся 284B-модель плюс контекст 256K умещаются в 57,61 ГиБ рабочей RAM — без своп-файла и без GPU.


Производительность на разном железе

Декодирование на CPU даёт 9,1–14,7 токена/с, а скорость обработки промпта (prefill) составляет 44,36 tok/s — это на 77,1% быстрее исходного показателя в 25,05 tok/s.

Оптимизация достигается через четырёхуровневый тайлинг: в версии v2.4.0 реализована четырёхуровневая схема тайлинга, охватывающая регистры AVX-512BW, кэши L1, L2 и L3.


graph TD
    A[Модель на диске\n56.56 GiB] --> B[Загрузка в RAM\n57.61 GiB VmRSS]
    B --> C{Тип железа}
    C --> D[16–32 ГБ\nNemotron-30B\n25–60 tok/s]
    C --> E[64 ГБ CPU\nDeepSeek-V4-Flash 284B\n9.1–14.7 tok/s decode]
    C --> F[CPU + 16 ГБ GPU\nNemotron-30B\n80.8 tok/s]
    C --> G[Threadripper 128 ГБ+\nDeepSeek-284B\n111 tok/s 30B MoE]

Сравнение конфигураций

ЖелезоRAMМодельСкорость (0 GPU)
Ноутбук / Mini-PC16–32 ГБNemotron-3.5-30B25–60 tok/s
Десктоп / сервер64 ГБDeepSeek-V4-Flash 284B9,1–14,7 tok/s
Гибрид (CPU + 16 ГБ GPU)32–64 ГБNemotron-30B / Qwen3-30B~80 tok/s
Threadripper (8-канальный)128 ГБ+DeepSeek-284B / Nemotron-30B111 tok/s (30B)
💡 Для владельцев 64 ГБ машин
Для полноценной работы 284B-модели требуется Linux-система с 64 ГБ RAM, поддержкой AVX-512 и около 60 ГБ свободного места на диске. 64-гигабайтная система предоставляет около 59,6 ГиБ до того, как ОС и другие процессы займут память — так что результат не гарантирован на любой машине с 64 ГБ RAM.

Быстрый старт

Проект доступен на GitHub. Для запуска без компиляции:

# Клонирование и запуск интерактивного чата
git clone https://github.com/synchopate/llama-modchip.git
cd llama-modchip
./modchip chat

Для 284B DeepSeek-V4-Flash на Linux x86_64 без компиляции:

# Скачать бинарник и модель с Hugging Face
hf download Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF --local-dir ./dsv4
chmod +x ./dsv4/llama-server-modchip-linux-x86_64
./dsv4/llama-server-modchip-linux-x86_64 \
  -m ./dsv4/DeepSeek-V4-Flash-0731-Fractal-00001-of-00003.gguf \
  -c 32768 -t 16 -fa on --port 8080
⚠ Совместимость
Mодели в формате Fractal-64 используют кастомный тип тензора GGML_TYPE_Q2_0 (ID 40). Стандартные сборки llama.cpp, Ollama и LM Studio отклонят такие файлы с ошибкой unknown tensor type 40. Обязательно используйте бинарник llama-server-modchip-linux-x86_64 из репозитория.

Дополнительные возможности

Помимо основного инференса llama-modchip включает несколько примечательных функций:

  • Stockfish-PVS — спекулятивный черновик на основе n-грамм с L2/L3 кэшем (аналог алгоритма поиска из шахматного движка Stockfish), ускоряющий генерацию
  • Мгновенное восстановление контекста — снапшоты KV-кэша в /dev/shm с временем восстановления 13,1–32,6 мс для длинных агентских промптов
  • Поддержка Windows 10/11 — гибридный пакет GPU+CPU с автоопределением конфигурации железа
  • Claude Code интеграция — ./modchip claude запускает Claude Code CLI с 40 инструментами через локальный движок

Почему это важно

Проект демонстрирует, что современные многоядерные CPU и компактные Mini-PC с 64–128 ГБ DDR5 RAM способны запускать 284B фронтирные MoE-модели локально при полном контексте 256K — устраняя требования к оборудованию стоимостью $30 000+.

Это открывает возможности для разработчиков, исследователей и энтузиастов, которые хотят работать с крупнейшими открытыми моделями локально — без облака, без GPU-сервера и без огромного бюджета на железо.

📝 Независимая проверка
На момент публикации независимых воспроизведений результата 284B на 64 ГБ зафиксировано не было. Заявленные показатели производительности получены на AMD Ryzen 9 9955HX (16 ядер, Zen 5) с 64 ГБ DDR5. Результаты на другом железе могут отличаться.