AWS Machine Learning Blog· Sunita Nadampalli·· 7 天前精选AI 评分64
AWS 推出 vLLM 双向 KV 缓存传输功能以降低多轮智能体首字延迟
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
AWS 团队在 vLLM 中引入了双向 KV 缓存传输机制，允许解码节点将此前计算的 KV 缓存返回给预填充节点，从而避免多轮对话中的重复计算。在 Amazon EC2 P5en 实例集群的基准测试中，该功能在长提示词下将 Qwen3-32B 和 GLM-5-FP8 的首字延迟（TTFT）分别降低了最多 1.6 倍和 3.3 倍。
推荐理由
文章详细介绍了 vLLM 中双向 KV 缓存传输的架构与基准测试数据，帮助开发者评估其在减少多轮智能体工作负载首字延迟方面的实际效果。
来源：AWS Machine Learning Blog · aws.amazon.com