04
Jun
tool-review
Headroom: сжатие контекста до LLM на 60–95%
Обзор Headroom — open-source слоя сжатия контекста для LLM: 60–95% меньше токенов, те же ответы. …
→
Оптимизация
16
материалов
31
May
article
Оптимизация инференса больших трансформеров
Полное руководство по ускорению инференса LLM: KV-кэш, квантизация, спекулятивное декодирование, MoE …
→
16
May
tool-review
geo-seo-claude: GEO-оптимизация сайтов через Claude Code
Обзор geo-seo-claude — open-source инструмента для GEO-оптимизации сайтов под AI-поисковики через …
→
14
Apr
article
ChatGPT Image Merge: экономия лимитов через объединение изображений
Как экономить лимиты ChatGPT на загрузку изображений с помощью инструмента объединения картинок в …
→
12
Apr
news
Anthropic тайно сократила время кэширования Claude с часа до 5 минут
Компания Anthropic незаметно изменила TTL кэша с 1 часа до 5 минут в марте 2024 года, что привело к …
→
22
Feb
article
Как работает инференс: от запроса до ответа
Разбираем путь запроса к LLM: фазы prefill и decode, KV-кэш, speculative decoding и оптимизации, …
→