vllm· cquil11·· 20 天前AI 评分25
vLLM v0.31.1rc0 发布：支持按缓存层级暴露 cached prompt tokens
v0.31.1rc0: [Metrics] Expose cached prompt tokens by cache tier (#56318)
AI 导读
vLLM v0.31.1rc0 版本正式发布，此次更新引入了按缓存层级（cache tier）暴露 cached prompt tokens 的指标功能。该改进旨在提升模型推理过程中的缓存透明度，便于开发者更精确地监控与管理不同层级的提示词缓存状态。
来源：vllm · github.com