vllm· MatthewBonanni·· 14 天前AI 评分18
vLLM 发布 v0.32.0rc0 版本，新增 HiSparse KV cache 容量日志报告功能
v0.32.0rc0: [HiSparse] Report host pool in KV cache capacity logs (#60285)
AI 导读
vLLM 发布 v0.32.0rc0 版本，在 HiSparse 模块中新增了主机池（host pool）在 KV cache 容量日志中的报告功能。该更新旨在优化模型推理过程中的资源监控与管理，用户可通过 GitHub 仓库查看相关提交记录。
来源：vllm · github.com