AWS Machine Learning Blog· Sunita Nadampalli·· 7 天前精选AI 评分65
AWS 推出 vLLM 推送式 KV 缓存传输机制以改善推理延迟
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 推出了 vLLM 的推送式 NIXL 连接器，通过将解码侧的块注册和传输设置移至后台线程，与预填充计算进行重叠。在 Qwen3-32B 模型基准测试中，该模式相比拉取模式可将首字延迟（TTFT）降低最多 3 倍，并将每输出 token 耗时（TPOT）降低 30%。
推荐理由
文章介绍了 vLLM 的推送式 KV 缓存传输方案，读者可以了解它如何通过重叠预处理与解码设置来降低首字延迟。
来源：AWS Machine Learning Blog · aws.amazon.com