跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。

102 条精选近 30 天 81 条共收录 799 条

更新

精选归档 · 第 6 页

6月9日周二第 101–102 条
  1. Amazon Science76

    Amazon Science：弥合智能体系统中的意图与执行鸿沟

    Amazon Science 发布论文并开源 Simple Strands Agent (SSA) 框架，旨在解决智能体在模型意图与工具执行之间的不匹配问题。研究指出，通过优化文件编辑工具、引入执行反馈机制以及根据不同模型家族调整推理与工具调用的平衡，可显著提升智能体在 SWE-Bench 和 Terminal-Bench-2 等基准测试中的表现。

    发布时间：

    推荐理由：该研究通过定义智能体意图与执行之间的鸿沟，提出了模型与执行框架协同设计的原则，并开源了 SSA 框架以提升智能体在各类基准测试中的表现。

5月8日周五
  1. Berkeley AI Research78

    自适应并行推理：高效推理扩展的新范式

    自适应并行推理（APR）允许模型根据问题复杂度动态决定何时分解任务、并行执行线程及协调结果，旨在解决传统顺序推理带来的上下文冗余与高延迟问题。文章对比了 Multiverse 等修改推理引擎的方案与 ThreadWeaver 等客户端编排方案，并探讨了如何通过强化学习激励模型学习并行控制流，同时指出该领域在推理稳定性与训练目标上的开放性挑战。

    发布时间：

    推荐理由：文章系统梳理了自适应并行推理这一新兴范式，对比了不同技术路径在推理效率与实现复杂度上的权衡，为理解大模型推理加速提供了关键视角。