Главное

bitnet.cpp — официальный inference-фреймворк (движок для запуска готовых моделей) для 1-битных LLM, таких как BitNet b1.58. Он предлагает набор оптимизированных ядер (kernels) для быстрой и без потерь точности работы 1.58-битных моделей на CPU и GPU. За последние месяцы команда Microsoft выпустила сразу несколько крупных обновлений: движок для распознавания речи в реальном времени, первые 1-битные embedding-модели и существенный прирост скорости на бытовых процессорах.

VibeASR.cpp: голос в реальном времени без GPU

23 июля 2026 года Microsoft выпустила VibeASR.cpp — движок для многоязычного распознавания речи (ASR, Automatic Speech Recognition) в реальном времени прямо на CPU, использующий BitNet I2_S-квантизацию и достигающий RTF < 1 (то есть обрабатывает речь быстрее, чем она звучит) при минимальном количестве потоков на платформах x86 (AVX2) и ARM (NEON).

VibeVoice-ASR-BitNet работает в 1.6–2.3× быстрее, чем Whisper.cpp при сопоставимом размере модели (~1.6 ГБ), с лишь незначительным снижением точности относительно FP16-базовой линии.

💡 Что такое RTF?
RTF (Real-Time Factor) — коэффициент реального времени. RTF < 1 означает, что система распознаёт 10 секунд речи менее чем за 10 секунд — то есть работает в реальном времени.

Система VibeVoice-ASR-BitNet достигает 2.9× сжатия модели по сравнению с FP16, что делает возможным инференс в реальном времени на CPU.

Первые 1-битные embedding-модели

20 июля 2026 года Microsoft опубликовала на Hugging Face модели BitNet-embedding-0.6B и BitNet-embedding-270M — первые в мире 1-битные модели для получения текстовых эмбеддингов (векторных представлений текста), обеспечивающие конкурентное качество при значительно более быстром инференсе на CPU.

BitNet-embedding-0.6B — модель с 0.6 млрд параметров, первой демонстрирующая, что троичные (ternary) веса способны показывать высокое качество именно на задачах эмбеддингов.

МодельПараметрыУскорение prefill (x86, 8 потоков)Потерь точности
BitNet-embedding-0.6B600M1.42× – 2.28× над F16Нет (2 бит/вес)
BitNet-embedding-270M270M1.32× – 1.74× над F16Нет (2 бит/вес)
BitNet-b1.58-2B-4T2.4Bдо 6.17× над FP (x86)Нет
ℹ Зачем нужны embedding-модели?
Эмбеддинги — основа семантического поиска, RAG-систем и рекомендательных алгоритмов. Более быстрые и лёгкие embedding-модели напрямую снижают стоимость inference в продакшне.

Производительность bitnet.cpp: цифры

На ARM-процессорах (M1/M2 Mac, смартфоны) bitnet.cpp достигает ускорения от 1.37× до 5.07× с экономией энергии от 55.4% до 70.0%. На x86-процессорах (Intel, AMD) ускорение составляет от 2.37× до 6.17× при снижении энергопотребления на 71.9%–82.2%.

Более того, bitnet.cpp позволяет запустить 100-миллиардную модель BitNet b1.58 на одном обычном CPU со скоростью 5–7 токенов в секунду — сопоставимо со скоростью человеческого чтения.


graph TD
    A[Пользователь / Edge-устройство] --> B[bitnet.cpp inference engine]
    B --> C{Тип платформы}
    C -->|x86 AVX2| D[Ускорение до 6.17×\nЭкономия энергии до 82%]
    C -->|ARM NEON| E[Ускорение до 5.07×\nЭкономия энергии до 70%]
    C -->|GPU| F[Official GPU kernel\nMay 2025+]
    C -->|NPU| G[В разработке]
    D --> H[Результат: LLM без облака]
    E --> H
    F --> H

Флагманская модель: BitNet-b1.58-2B-4T

BitNet-b1.58-2B-4T — первая официальная модель BitNet b1.58 с 2.4 млрд параметров, обученная на 4 триллионах токенов.

Модель занимает всего 0.4 ГБ (не считая embedding-весов), обеспечивает задержку декодирования на CPU в 29 мс и тратит 0.028 Дж на один inference.

«0.028 джоуля на инференс» — это примерно в 12 раз эффективнее по энергии, чем сопоставимые модели вроде Qwen2.5.

Для запуска достаточно склонировать репозиторий и выполнить несколько команд:

git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet
conda create -n bitnet-cpp python=3.10
conda activate bitnet-cpp
pip install -r requirements.txt

# Скачать модель и собрать окружение
huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
⚠ Требования к системе
Для сборки необходимы Python ≥ 3.10, CMake ≥ 3.22 и Clang ≥ 18. На Windows потребуется Visual Studio 2022 с компонентами Desktop C++ и Clang.

Экосистема и поддерживаемые модели

Команда TII (Technology Innovation Institute) уже выпустила 1.58-битные версии своих моделей Falcon, что свидетельствует о более широком принятии экосистемы BitNet. В репозитории официально поддерживаются модели от 0.7B до 10B параметров, включая Llama3-8B-1.58 и семейства Falcon3/Falcon-E.

Поддержка NPU (нейронных процессоров, встроенных в современные смартфоны и ноутбуки) заявлена как следующий приоритет в разработке.

📝 Кому это нужно прямо сейчас?
  • Разработчикам edge-приложений — запуск LLM на смартфоне или Raspberry Pi без интернета.
  • RAG и поиск — быстрые 1-битные embedding-модели снижают стоимость векторизации.
  • Голосовые интерфейсы — VibeASR.cpp открывает путь к офлайн-ASR на мобильных устройствах.
  • Исследователям — MIT-лицензия, открытый код, воспроизводимые бенчмарки.

Значение для отрасли

BitNet последовательно расширяет доказательную базу того, что агрессивная квантизация не означает потерю качества. Развёртывание LLM-эмбеддеров остаётся дорогостоящим: большие базовые модели замедляют инференс, а высокоразмерные полноточные эмбеддинги создают значительную нагрузку на хранилища и пропускную способность при больших индексах. 1-битный подход атакует именно эту проблему.

За неполные два года проект прошёл путь от академической статьи до полноценного стека: CPU-инференс → GPU-ядра → embedding-модели → ASR в реальном времени. Следующий шаг — NPU — означает потенциальное появление локальных LLM прямо на чипах смартфонов без каких-либо серверных зависимостей.