Together AI 发布 ThunderAgent：用于大规模智能体推理的调度系统

ThunderAgent 是一款旨在解决智能体推理中 KV cache 抖动问题的调度层系统，通过将智能体工作流抽象为可调度程序，实现了单节点吞吐量 2.5 倍提升及 8 节点集群 2.4 倍加速。该系统兼容 OpenAI API，支持与现有推理引擎及优化技术集成，目前已开源并被 SkyRL 等框架采用。