跳到正文
vllm· robertgshaw2-redhat·· 25 天前AI 评分20

vLLM v0.31.0rc3 发布:Model Runner V2 支持随机虚拟输入

v0.31.0rc3: [Model Runner V2] Support randomized dummy inputs (#58411)

AI 导读

vLLM v0.31.0rc3 版本正式发布,此次更新在 Model Runner V2 中新增了对随机虚拟输入(randomized dummy inputs)的支持。该版本通过相关代码合并(#58411)进一步优化了模型运行时的输入处理能力。

来源:vllm · github.com