26
Aug
news
OpenAI Jalapeño: собственный чип обошёл Nvidia Blackwell
OpenAI представила чип Jalapeño на Hot Chips 2026: ASIC для LLM-инференса превзошёл Nvidia GB300 по …
→
Инференс
9
материалов
14
Aug
news
GPT-5.6 Sol Ultrafast: в 14 раз быстрее на чипах Cerebras
OpenAI и Cerebras запустили режим Ultrafast для GPT-5.6 Sol: 750 токенов в секунду, ускорение в 14× …
→
16
Jul
news
vLLM: главный движок для запуска LLM в продакшене
vLLM — открытый фреймворк для высокопроизводительного инференса LLM. Поддерживает 200+ моделей, …
→
31
May
article
Оптимизация инференса больших трансформеров
Полное руководство по ускорению инференса LLM: KV-кэш, квантизация, спекулятивное декодирование, MoE …
→
04
May
translation
Google TPU 8t и 8i: два чипа для эпохи ИИ-агентов
Google представила TPU 8-го поколения: два специализированных чипа TPU 8t и TPU 8i для обучения и …
→
23
Mar
tool-review
Обзор Ollama: запускаем LLM локально
Ollama — CLI-инструмент для локального запуска LLM. Обзор возможностей, поддерживаемые модели, …
→
14
Mar
translation
Flex и Priority в Gemini API: экономия и надёжность
Google запустил два новых уровня инференса в Gemini API — Flex со скидкой 50% и Priority с …
→
11
Mar
tool-review
Обзор LM Studio: GUI для локальных LLM-моделей
LM Studio — бесплатное десктопное приложение для запуска LLM локально. Обзор возможностей, сравнение …
→
22
Feb
article
Как работает инференс: от запроса до ответа
Разбираем путь запроса к LLM: фазы prefill и decode, KV-кэш, speculative decoding и оптимизации, …
→