26
Sep
news
NVIDIA Model Optimizer: единая библиотека оптимизации ИИ-моделей
NVIDIA ModelOpt объединяет квантизацию, прунинг, дистилляцию и NAS в одну Python-библиотеку. W4A4 …
→
Инференс
12
материалов
05
Sep
news
SGLang: де-факто стандарт инференса LLM на 400 000 GPU
SGLang — высокопроизводительный фреймворк для запуска LLM и мультимодальных моделей. Уже на 400 000 …
→
04
Sep
article
Инференс-парадокс: почему AI-агенты дорожают
Gartner: затраты на инференс в агентных AI-воркфлоу вырастут более чем в 5 раз к 2028 году. …
→
26
Aug
news
OpenAI Jalapeño: собственный чип обошёл Nvidia Blackwell
OpenAI представила чип Jalapeño на Hot Chips 2026: ASIC для LLM-инференса превзошёл Nvidia GB300 по …
→
14
Aug
news
GPT-5.6 Sol Ultrafast: в 14 раз быстрее на чипах Cerebras
OpenAI и Cerebras запустили режим Ultrafast для GPT-5.6 Sol: 750 токенов в секунду, ускорение в 14× …
→
16
Jul
news
vLLM: главный движок для запуска LLM в продакшене
vLLM — открытый фреймворк для высокопроизводительного инференса LLM. Поддерживает 200+ моделей, …
→
31
May
article
Оптимизация инференса больших трансформеров
Полное руководство по ускорению инференса LLM: KV-кэш, квантизация, спекулятивное декодирование, MoE …
→
04
May
translation
Google TPU 8t и 8i: два чипа для эпохи ИИ-агентов
Google представила TPU 8-го поколения: два специализированных чипа TPU 8t и TPU 8i для обучения и …
→
23
Mar
tool-review
Обзор Ollama: запускаем LLM локально
Ollama — CLI-инструмент для локального запуска LLM. Обзор возможностей, поддерживаемые модели, …
→
14
Mar
translation
Flex и Priority в Gemini API: экономия и надёжность
Google запустил два новых уровня инференса в Gemini API — Flex со скидкой 50% и Priority с …
→