LLM у вас дома — но с каким железом?

LLMSpeed — это open-source веб-приложение, которое симулирует скорость локальной языковой модели (LLM) на выбранном GPU, Mac или CPU, стримя текст с расчётной скоростью в токенах в секунду. Цифра «токенов в секунду» сама по себе мало о чём говорит, пока не видишь, как текст реально появляется с этой скоростью — именно это и решает инструмент. Проект полностью открытый и доступен на GitHub.

ℹ Что такое tokens-per-second?
Tokens/s (токенов в секунду) — основная метрика скорости инференса LLM. Один токен примерно равен ¾ слова. При скорости 10 tok/s модель пишет медленнее среднего человека; при 40+ tok/s — заметно быстрее.

Как это работает

Вы выбираете GPU, Mac или CPU и модель — страница стримит ответ с той скоростью, которую эта связка предположительно даст, включая паузу перед первым токеном (time-to-first-token), характерную для промпта такой длины.

Режим гонки (race mode) запускает два конфига бок о бок — например, RTX 5090 против Mac Studio — и каждый сценарий получает постоянную ссылку для шеринга.

Каждая оценка маркируется: Measured — реальный бенчмарк именно на этом железе с r/LocalLLaMA, localscore.ai или из PR контрибьюторов; Derived — интерполяция из похожих конфигов; Projected — расчёт по характеристикам анонсированного железа.

Там, где бенчмарков нет совсем, генерация моделируется как memory-bandwidth bound (для MoE-моделей учитываются только активные параметры), а обработка промпта — как compute bound. Отдельная проверка памяти считает, влезут ли веса модели, KV-кэш и накладные расходы в выбранный чип — или потребуется partial offload.


flowchart LR
    A[Выбираете железо и модель] --> B[Сайт рассчитывает\ntime-to-first-token]
    B --> C[Стримит текст\nс реальной скоростью]
    C --> D{Race mode?}
    D -- Да --> E[Два конфига\nбок о бок]
    D -- Нет --> F[Одна симуляция\n+ ссылка для шеринга]

Что поддерживается

Инструмент охватывает 30 GPU, Mac и CPU, а также 15 популярных моделей через бэкенды CUDA, Metal, ROCm, Vulkan и CPU.

Среди поддерживаемого железа — CPU-only конфиги (Ryzen 9 9950X, 96 ГБ DDR5), MacBook M2 Pro 16 ГБ, облачные H100, A100 и H200. Из моделей доступны Llama 3.1 8B, Qwen 3, Gemma 4, DeepSeek и другие.

LLMSpeed работает прямо в браузере по адресу llmspeed.dev — ничего устанавливать не нужно. Репозиторий — статический Vite-сайт, который можно поднять локально; новые замеры принимаются через pull request.

Реальные цифры: чего ждать от разного железа

Для понимания контекста — актуальные данные по скорости инференса на потребительском железе:

ЖелезоQwen 3 4BQwen 3 8BPhi-4 14B
Apple M3 Pro~45 tok/s~25 tok/s~12 tok/s
RTX 4070 (12 ГБ)~80 tok/s~50 tok/s~25 tok/s
RTX 4090 (24 ГБ)~120 tok/s~90 tok/s~55 tok/s
CPU-only (32 ГБ DDR5)~12 tok/s~6 tok/s~2 tok/s

Данные: sitepoint.com, 2026

⚠ Погрешность оценок
README проекта честно предупреждает: оценки могут отличаться от реальности на 10–30%. Пользователи Hacker News также сообщали, что цифры не всегда совпадают с их машинами — именно поэтому так важны реальные замеры от сообщества.

Почему это важно для отрасли

Запуск больших языковых моделей локально стал практической реальностью для разработчиков и энтузиастов, которые хотят держать данные на устройстве, избавиться от регулярных расходов на API и убрать сетевые задержки. Но порог входа остаётся высоким: локальный инференс LLM в 2026 году — это уже не исследовательский проект, а бизнес-решение с конкретной математикой ROI и требованиями к compliance.

Ключевой концепт, который нужно понять перед покупкой: локальный инференс LLM почти полностью ограничен пропускной способностью памяти, а не вычислительной мощностью. Это делает выбор железа нетривиальным — и именно здесь LLMSpeed закрывает реальную боль.

Абстрактная цифра «40 токенов в секунду» ничего не значит, пока не видишь, как на этой скорости появляется живой текст.

Сообщество считает идею полезной, но указывает на ограничения: оценки не всегда совпадают с реальными результатами, а инструменту не хватает переменных вроде multi-GPU конфигов, размера контекста и различий между движками инференса.

💡 Когда использовать LLMSpeed
Инструмент особенно полезен при выборе между дискретным GPU и Apple Silicon — двумя принципиально разными архитектурами с разным соотношением цена/скорость/энергопотребление. Используйте race mode, чтобы буквально «увидеть» разницу в реальном времени.

LLMSpeed доступен по адресу llmspeed.dev и не требует регистрации или установки.