ModelOpt on AI-Uchi — Всё об искусственном интеллектеhttps://ai-uchi.ru/tags/modelopt/Recent content in ModelOpt on AI-Uchi — Всё об искусственном интеллектеHugoruSat, 26 Sep 2026 03:08:21 +0300NVIDIA Model Optimizer: единая библиотека оптимизации ИИ-моделейhttps://ai-uchi.ru/news/nvidia-model-optimizer-optimizaciya-llm/Sat, 26 Sep 2026 03:08:21 +0300https://ai-uchi.ru/news/nvidia-model-optimizer-optimizaciya-llm/<h2 id="единая-библиотека-оптимизации-нейросетей-от-nvidia">Единая библиотека оптимизации нейросетей от NVIDIA</h2> <p>NVIDIA Model Optimizer (ModelOpt) — библиотека, объединяющая передовые техники оптимизации моделей: квантизацию, дистилляцию, прунинг, Speculative Decoding и разреженность. Оптимизированные чекпоинты сразу готовы к развёртыванию в инференс-фреймворках: SGLang, TensorRT-LLM, TensorRT и vLLM. Последние обновления библиотеки показывают, что NVIDIA последовательно расширяет охват моделей и форматов точности, делая агрессивное сжатие более доступным.</p> <hr> <h2 id="что-такое-modelopt-и-зачем-он-нужен">Что такое ModelOpt и зачем он нужен</h2> <p>До появления ModelOpt ландшафт инструментов квантизации был фрагментирован: AutoAWQ для INT4, SmoothQuant для INT8, разные форки GPTQ и отдельные пути для FP8 через Transformer Engine. Переключение между форматами означало смену инструментов, а совмещение квантизации с прунингом требовало склейки несовместимых библиотек.</p>