/tags/%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9/Recent content in Оптимизация Моделей on AI-Uchi — Всё об искусственном интеллектеHugoruTue, 10 Feb 2026 18:00:00 +0300/articles/kvantovanie-modelej-zapusk-llm-na-slabom-zheleze/Tue, 10 Feb 2026 18:00:00 +0300/articles/kvantovanie-modelej-zapusk-llm-na-slabom-zheleze/<p>Модель с 70 миллиардами параметров занимает 140 ГБ в формате FP16. У вас нет сервера с четырьмя A100? Не проблема. Квантование позволяет сжать ту же модель до 40 ГБ и запустить её на паре потребительских видеокарт — или взять модель поменьше и уместить её в 8 ГБ VRAM обычной RTX 3060. В этой статье разберём, как это работает, какие методы существуют и что конкретно нужно делать.</p> <h2 id="что-такое-квантование-и-зачем-оно-нужно">Что такое квантование и зачем оно нужно</h2> <p>Квантование — это снижение точности числового представления весов модели. Вместо 16-битных чисел с плавающей запятой (FP16) веса хранятся в 8-битном (INT8), 4-битном (INT4) или даже 2-битном формате. Математически это означает переход от непрерывного пространства значений к дискретному с меньшим числом уровней.</p>