跳到正文
热点事件持续更新

Baseten 推出 Qwen3-ASR 1.7B 优化批量转写

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Baseten 推出了优化的 Qwen3-ASR 1.7B 批量转写方案,通过原生音频解码、KV 缓存 FP8 量化以及减少主机到设备同步等改进,在高并发下实现了原版 vLLM 7 倍以上的吞吐量和更低的转写成本。 该服务目前已在 Baseten 的模型库中上线,并支持通过兼容 OpenAI 的端点进行调用。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. Baseten 工程博客
    Baseten 优化 Qwen3-ASR 1.7B 批量转写,吞吐达原版 vLLM 的 7 倍

    Baseten 推出了优化的 Qwen3-ASR 1.7B 批量转写方案,通过原生音频解码、KV 缓存 FP8 量化以及减少主机到设备同步等改进,在高并发下实现了原版 vLLM 7 倍以上的吞吐量和更低的转写成本。该服务已在其模型库中上线,支持通过兼容 OpenAI 的端点进行调用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。