Together AI·· 17 小时前AI 评分65
Together AI 推出 Together Compiler 持续编译系统
Together Compiler: Continuous Compilation for AI inference
AI 导读
Together AI 推出了 Together Compiler (TKCC),这是一个利用高吞吐智能体持续优化动态推理工作负载的递归自改进系统。TKCC 引入了持久化引擎、高低保真度分层测试及自定义成本模型,在不到 24 小时内将主流开源模型的吞吐量提升 1.3 到 3 倍,并在低延迟基准测试中创下新纪录。
来源:Together AI · together.ai