GitHub 发布 AI 代码审查基准测试 ReviewBench
GitHub 发布了 ReviewBench,这是一个旨在评估 AI 代码审查智能体的开源基准测试。该基准包含 219 个真实 Pull Request,通过多源黄金集、统一评估准则及高级工程师验证,提供包括准确率、召回率在内的多维度评估指标,支持开发者提交并对比不同智能体的审查表现。
推荐理由:该基准测试通过分析超一亿次真实 Pull Request 构建,为评估 AI 代码审查智能体提供了可复用的离线评估方法与公开排行榜。
GitHub 发布了 ReviewBench,这是一个旨在评估 AI 代码审查智能体的开源基准测试。该基准包含 219 个真实 Pull Request,通过多源黄金集、统一评估准则及高级工程师验证,提供包括准确率、召回率在内的多维度评估指标,支持开发者提交并对比不同智能体的审查表现。
推荐理由:该基准测试通过分析超一亿次真实 Pull Request 构建,为评估 AI 代码审查智能体提供了可复用的离线评估方法与公开排行榜。
Microsoft 在 Hugging Face 发布 ThinkingBox,这是一个通过评估 AI 智能体在隔离环境中对后端数据库产生的实际状态变更来衡量其可靠性的基准。该基准包含 507 个业务工作流任务,通过 20 次重复运行测试模型的一致性,发现多数模型在单次成功率与多次重复成功率之间存在显著差距,并指出约 80% 的失败源于工具处理而非推理能力。
推荐理由:该研究通过评估 AI 智能体在业务工作流中对数据库状态的实际影响而非仅关注对话内容,揭示了模型在可靠性与一致性上的差距,为智能体评估提供了新的可执行基准。
在 DeepSWE 编码基准测试中,GLM-5.3 与 Claude Fable 5 的首轮通过率(pass@1)分别为 69.0% 和 69.7%,表现几乎持平。
推荐理由:通过对比 GLM-5.3 与 Claude Fable 5 在 DeepSWE 上的表现,揭示了两者在编码任务中相似的准确率与显著的成本差异,为开发者选择模型提供了性价比参考。
Together AI 在 DeepSWE 基准上对比了 GLM-5.3 与 GPT-5.6 Sol 的表现。GPT-5.6 Sol 在单次尝试中保持领先,而 GLM-5.3 在多次尝试下表现更优且成本仅为前者的一半。分析建议采用级联路由策略,即优先使用 GLM-5.3,在测试失败时再调用 GPT-5.6 Sol,以实现更优的成本效益与任务覆盖率。
推荐理由:通过对比 GLM-5.3 与 GPT-5.6 Sol 在 DeepSWE 上的表现,展示了不同模型在成本、速度与任务覆盖率上的权衡,并提出了基于验证器的级联路由策略。
Together AI 在 DeepSWE 基准上对比了 DeepSeek V4 Pro 0813 与 Claude Fable 5 的编码能力。结果显示,Claude Fable 5 在单次尝试中准确率略高,但 DeepSeek V4 Pro 0813 在多次尝试下表现更优且成本仅为前者的 1/90。
推荐理由:通过对比 DeepSeek V4 Pro 0813 与 Claude Fable 5 在软件工程任务中的表现,展示了低成本模型在多次尝试下的高性价比,并验证了通过级联路由优化成本与准确率的可行性。
Together AI 发布了 ParallelKernelBench (PKB),这是一个专门用于评估多 GPU 内核生成能力的基准测试框架,包含 87 个源自真实代码库的分布式计算问题。测试显示,即使是 GPT-5.5 和 Gemini 3 Pro 等前沿模型,在零样本设置下也难以生成优于 PyTorch + NCCL 基准的内核,且在处理 rank 协调和通信机制选择时表现出明显的推理短板。
推荐理由:该研究通过 ParallelKernelBench 评估了前沿模型在多 GPU 环境下编写高性能 CUDA 内核的能力,揭示了模型在处理复杂分布式通信与硬件协同方面的局限性。