跳到正文
6月23日周二
  1. Together AI76

    ParallelKernelBench:前沿大模型编写多 GPU 内核的能力评估

    Together AI 发布了 ParallelKernelBench (PKB),这是一个专门用于评估多 GPU 内核生成能力的基准测试框架,包含 87 个源自真实代码库的分布式计算问题。测试显示,即使是 GPT-5.5 和 Gemini 3 Pro 等前沿模型,在零样本设置下也难以生成优于 PyTorch + NCCL 基准的内核,且在处理 rank 协调和通信机制选择时表现出明显的推理短板。

    发布时间:

    推荐理由:该研究通过 ParallelKernelBench 评估了前沿模型在多 GPU 环境下编写高性能 CUDA 内核的能力,揭示了模型在处理复杂分布式通信与硬件协同方面的局限性。

6月10日周三
  1. Amazon Science68

    AWS 发布 Graviton5 实例并引入形式化验证的 Nitro Isolation Engine

    AWS 宣布推出搭载 Graviton5 处理器的 M9g 和 M9gd 实例,该系列首次采用 Nitro Isolation Engine,通过 33 万行机器检查的数学证明,实现了商业云环境中虚拟机隔离的形式化验证。该引擎使用 Rust 编写,通过 Isabelle/HOL 证明了其在机密性、完整性、功能正确性及内存安全方面的表现。

    发布时间:
  2. Amazon Science58

    AWS 发布 Graviton5 处理器及 M9g/M9gd 实例

    Amazon 宣布推出搭载 Graviton5 处理器的 EC2 M9g 和 M9gd 实例。Graviton5 采用 3nm 工艺,核心数从 96 增加至 192,支持 DDR5-8800 内存与 PCIe gen6,计算性能较上一代提升 25%,并在数据库、机器学习推理等场景下实现 30% 至 35% 的性能增长。

    发布时间:
6月9日周二
  1. Amazon Science48

    智能体 AI 的物理世界落地与 Project Eluna 实践

    Amazon 推出旨在优化物流中心运营的智能体 AI 模型 Project Eluna,通过将模型与物理定律及操作约束对齐,解决物理环境中的模型幻觉问题。研究提出了四种落地方法,包括利用物理引导的深度学习减少数据需求,以及通过 UQ4CT 框架实现不确定性感知推理,该框架在五个 benchmark 上保持高准确率的同时,将预期校准误差(ECE)降低了超过 25%。

    发布时间:
  2. Amazon Science76

    Amazon Science:弥合智能体系统中的意图与执行鸿沟

    Amazon Science 发布论文并开源 Simple Strands Agent (SSA) 框架,旨在解决智能体在模型意图与工具执行之间的不匹配问题。研究指出,通过优化文件编辑工具、引入执行反馈机制以及根据不同模型家族调整推理与工具调用的平衡,可显著提升智能体在 SWE-Bench 和 Terminal-Bench-2 等基准测试中的表现。

    发布时间:

    推荐理由:该研究通过定义智能体意图与执行之间的鸿沟,提出了模型与执行框架协同设计的原则,并开源了 SSA 框架以提升智能体在各类基准测试中的表现。

6月2日周二
  1. Together AI72

    Together AI 解析 MiniMax M3 高效推理部署方案

    Together AI 介绍了为 MiniMax M3 模型实现高效推理的工程实践,重点通过 MiniMax 稀疏注意力(MSA)机制解决长上下文计算瓶颈,并利用 Rust 编写的网关在 GPU 预处理前完成多模态数据处理,在典型智能体流量下实现了 81% 至 125% 的推理吞吐提升。

    发布时间:
5月29日周五
5月28日周四
  1. Amazon Science68

    AWS 如何在数据中心网络中用扁平化架构取代 Fat Tree

    AWS 研发了一种名为 RNG 的准随机网络拓扑,通过引入 ShuffleBox 光学组件和 Spraypoint 路由算法,解决了扁平化网络布线复杂及路由计算困难的问题。该架构已成为全球多数新建 AWS 数据中心的默认方案,相比传统 Fat Tree 结构,路由器数量减少 69%,吞吐量提升 33%,电力消耗预计降低 40%。

    发布时间:
5月19日周二
  1. Together AI68

    Together AI 发布编码智能体推理性能基准测试

    Together AI 发布了针对编码智能体工作负载的推理基准测试,重点考察高并发、长上下文场景下的首字延迟(TTFT)与吞吐量表现。测试显示,Together Inference Engine 通过 ThunderMLA 等全栈优化,在 2.5M TPM 负载下相比 TensorRT-LLM 和 SGLang 表现出更优的延迟衰减曲线。

    发布时间:
5月8日周五
  1. Berkeley AI Research78

    自适应并行推理:高效推理扩展的新范式

    自适应并行推理(APR)允许模型根据问题复杂度动态决定何时分解任务、并行执行线程及协调结果,旨在解决传统顺序推理带来的上下文冗余与高延迟问题。文章对比了 Multiverse 等修改推理引擎的方案与 ThreadWeaver 等客户端编排方案,并探讨了如何通过强化学习激励模型学习并行控制流,同时指出该领域在推理稳定性与训练目标上的开放性挑战。

    发布时间:

    推荐理由:文章系统梳理了自适应并行推理这一新兴范式,对比了不同技术路径在推理效率与实现复杂度上的权衡,为理解大模型推理加速提供了关键视角。