Together AI推出持续编译系统TKCC

Together AI 宣布推出旨在适应快速变化的模型架构与工作负载的 Polymorphic Inference（多态推理）新范式，并发布了基于 AI 智能体循环优化的 Together Compiler。Together Compiler 目前已在多个生产服务器端点运行，支持连续编译优化，其面向终端客户的有限测试版也已开放申请。

Together AI 推出了 Together Compiler (TKCC)，这是首个利用高吞吐量 Agent 持续优化多样化推理工作负载的循环系统。TKCC 通过持久化引擎、吞吐量与保真度平衡机制及自定义成本模型，在不到 24 小时内将前沿开源模型的 TPS 提升高达 2.6 倍，并在 InferenceX 基准测试中创下低延迟新纪录。

Together AI 推出了 Together Compiler (TKCC)，这是一个利用高吞吐智能体持续优化动态推理工作负载的递归自改进系统。TKCC 引入了持久化引擎、高低保真度分层测试及自定义成本模型，在不到 24 小时内将主流开源模型的吞吐量提升 1.3 到 3 倍，并在低延迟基准测试中创下新纪录。