跳到正文
vllm· LucasWilkinson·· 24 天前AI 评分18

vLLM v0.31.0rc4 发布

v0.31.0rc4

AI 导读

vLLM 发布 v0.31.0rc4 版本,重点修复了 HiSparse 在 FULL 图结构下可能导致的 MTP(Multi-Token Prediction)接受崩溃问题。该版本通过针对性的 Bugfix 提升了模型推理的稳定性,确保在复杂图计算场景下的执行准确性。

来源:vllm · github.com