Together AI 发布编码智能体推理性能基准测试

Together AI 发布了针对编码智能体工作负载的推理基准测试，重点考察高并发、长上下文场景下的首字延迟（TTFT）与吞吐量表现。测试显示，Together Inference Engine 通过 ThunderMLA 等全栈优化，在 2.5M TPM 负载下相比 TensorRT-LLM 和 SGLang 表现出更优的延迟衰减曲线。