/tags/%D0%BB%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9-ai/Recent content in Локальный AI on AI-Uchi — Всё об искусственном интеллектеHugoruWed, 04 Mar 2026 18:00:00 +0300/guides/golosovoi-ai-assistent-whisper-llm-tts-lokalnyi-server/Wed, 04 Mar 2026 18:00:00 +0300/guides/golosovoi-ai-assistent-whisper-llm-tts-lokalnyi-server/<p>Вы говорите вслух — ассистент отвечает голосом. Без подписки, без передачи данных в облако, без зависимости от серверов OpenAI или Google. Всё работает локально на вашем железе, со скоростью, которая ощущается как живой разговор.</p> <p>Это не фантастика 2027 года. Это реальный стек, который собирают разработчики прямо сейчас: <strong>faster-whisper</strong> для распознавания речи, <strong>Ollama</strong> для запуска LLM, <strong>Kokoro или Piper</strong> для синтеза голоса. В этом гайде — архитектура, выбор компонентов, код и реальные цифры производительности.</p>/articles/kvantovanie-modelej-zapusk-llm-na-slabom-zheleze/Tue, 10 Feb 2026 18:00:00 +0300/articles/kvantovanie-modelej-zapusk-llm-na-slabom-zheleze/<p>Модель с 70 миллиардами параметров занимает 140 ГБ в формате FP16. У вас нет сервера с четырьмя A100? Не проблема. Квантование позволяет сжать ту же модель до 40 ГБ и запустить её на паре потребительских видеокарт — или взять модель поменьше и уместить её в 8 ГБ VRAM обычной RTX 3060. В этой статье разберём, как это работает, какие методы существуют и что конкретно нужно делать.</p> <h2 id="что-такое-квантование-и-зачем-оно-нужно">Что такое квантование и зачем оно нужно</h2> <p>Квантование — это снижение точности числового представления весов модели. Вместо 16-битных чисел с плавающей запятой (FP16) веса хранятся в 8-битном (INT8), 4-битном (INT4) или даже 2-битном формате. Математически это означает переход от непрерывного пространства значений к дискретному с меньшим числом уровней.</p>