09
May
news
vLLM ROCm теперь в Lemonade: новый бэкенд для AMD
В Lemonade v10.4 добавлен экспериментальный бэкенд vLLM ROCm для AMD Strix Halo. Запуск модели — …
→
Локальный AI
14
материалов
18
Apr
tool-review
Oobabooga Text Generation WebUI: обзор
Обзор oobabooga/text-generation-webui — локального интерфейса для запуска LLM офлайн. Возможности, …
→
04
Mar
guide
Голосовой AI-ассистент: Whisper + LLM + TTS на своём сервере
Пошаговый гайд по сборке приватного голосового AI-ассистента из трёх компонентов: Whisper для …
→
10
Feb
article
Квантование моделей: запуск большой LLM на слабом железе
Как с помощью квантования запустить большие языковые модели на обычном ПК. Методы GPTQ, AWQ, GGUF, …
→