跳到正文
量子位· 思邈·· 6 天前AI 评分58

是石科技发布 TokenFleet 分布式调度框架,降低首Token延迟并提升国产推理吞吐

首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效

AI 导读

是石科技在 2026 CCF 全国高性能计算学术大会期间发布 TokenFleet 分布式调度框架,包含 TokenPilot、FleetMind 和 SLOMax 三项核心技术,分别用于推理路由、跨机房容量协同与混合负载治理。调优数据显示,采用预测延迟路由后 P95 首Token延迟降低 32.4%,流控协同调度使达标输出吞吐提高约 29.4%。

来源:量子位 · qbitai.com