Инференс

Как работает инференс: от запроса до ответа

Разбираем путь запроса к LLM: фазы prefill и decode, KV-кэш, speculative decoding и оптимизации, …