vllm· khluu·· 9 天前精选AI 评分63
vLLM v0.32.0 发布
v0.32.0
AI 导读
vLLM 发布 v0.32.0 版本,引入了 Model Runner V2、更广泛的低精度 KV 缓存支持、结构化决策与通用解析器,并增强了对 NVIDIA、AMD ROCm、Intel XPU 等多硬件平台的大模型推理与投机解码能力。
推荐理由
vllm v0.32.0 带来了多项硬件平台性能优化与架构升级,为大模型推理部署提供了更低的延迟和更高的吞吐。
来源:vllm · github.com