vllm· khluu·· 20 天前精选AI 评分63
vLLM v0.31.0 发布
v0.31.0
AI 导读
vLLM 发布 v0.31.0 版本,为 DeepSeek-V4.1-Flash 引入了 FlashMLA 压缩 KV 缓存及多项硬件加速与调度优化。新版本还增强了快启动功能、模型运行器 V2 的投机解码支持,并改进了大规模分布式服务的扩展性。
推荐理由
此版本带来了针对 DeepSeek-V4.1-Flash 的大规模内核与缓存优化及多平台运行支持,开发者可据此评估其在复杂推理与大规模吞吐场景下的升级收益。
来源:vllm · github.com