Together AI 发布 Together Compiler (TKCC) 持续推理编译优化系统

Together AI 推出了 Together Compiler (TKCC)，这是首个利用高吞吐智能体实现持续优化的推理编译系统。该系统通过持久化引擎、分层测量架构和自定义成本模型，在不到 24 小时内将前沿开源模型的吞吐量提升最高达 2.6 倍，并在低延迟基准测试中创下新纪录。