31
May
article
Оптимизация инференса больших трансформеров
Полное руководство по ускорению инференса LLM: KV-кэш, квантизация, спекулятивное декодирование, MoE …
→
Инференс
6
материалов
04
May
translation
Google TPU 8t и 8i: два чипа для эпохи ИИ-агентов
Google представила TPU 8-го поколения: два специализированных чипа TPU 8t и TPU 8i для обучения и …
→
23
Mar
tool-review
Обзор Ollama: запускаем LLM локально
Ollama — CLI-инструмент для локального запуска LLM. Обзор возможностей, поддерживаемые модели, …
→
14
Mar
translation
Flex и Priority в Gemini API: экономия и надёжность
Google запустил два новых уровня инференса в Gemini API — Flex со скидкой 50% и Priority с …
→
11
Mar
tool-review
Обзор LM Studio: GUI для локальных LLM-моделей
LM Studio — бесплатное десктопное приложение для запуска LLM локально. Обзор возможностей, сравнение …
→
22
Feb
article
Как работает инференс: от запроса до ответа
Разбираем путь запроса к LLM: фазы prefill и decode, KV-кэш, speculative decoding и оптимизации, …
→