跳到正文
vllm· JaredforReal·· 26 天前AI 评分22

vLLM v0.31.0rc2 发布

v0.31.0rc2

AI 导读

vLLM 发布 v0.31.0rc2 版本,此次更新主要针对 Mamba 模型架构进行了修复。该版本确保了在稀疏注意力机制下,prompt-end 的预填充(prefill)检查点能够得到正确保留。

来源:vllm · github.com