评测基准 最新动态

OpenAI 发布多款新模型并推出低资源编程语言编码评测

OpenAI 推出了最新模型，大幅提升了在 COBOL、Fortran 和 Visual Basic 等低资源编程语言中的软件构建与代码迁移能力。

Artificial Analysis@ArtificialAnlys· 00:42精选AI 评分8181

深度求索（DeepSeek）发布 DeepSeek V4.1 Flash 1017 旗舰更新模型，在 Artificial Analysis 智能指数中获得 45 分，与 GLM-5.3 并列开源模型第二位。

Anthropic 发布 Claude Haiku 5.5 模型

Anthropic 发布 Claude Haiku 5.5，这是其一年来首个 Haiku 系列更新，支持 1M 上下文并首次引入努力程度设置与自适应推理。该模型定价对标 GPT-6 Luna，旨在作为 Opus 或 Sonnet 的子智能体处理高频任务，同时 Anthropic 还下调了 Sonnet 5.5 的缓存读取价格并更新了 SDK 以支持自动化工具链。

GitHub 发布 AI 代码审查基准测试 ReviewBench

GitHub 发布了 ReviewBench，这是一个旨在评估 AI 代码审查智能体的开源基准测试。该基准包含 219 个真实 Pull Request，通过多源黄金集、统一评估准则及高级工程师验证，提供包括准确率、召回率在内的多维度评估指标，支持开发者提交并对比不同智能体的审查表现。

Microsoft 发布 ThinkingBox：基于数据库状态的 AI 智能体评估基准

Microsoft 在 Hugging Face 发布 ThinkingBox，这是一个通过评估 AI 智能体在隔离环境中对后端数据库产生的实际状态变更来衡量其可靠性的基准。该基准包含 507 个业务工作流任务，通过 20 次重复运行测试模型的一致性，发现多数模型在单次成功率与多次重复成功率之间存在显著差距，并指出约 80% 的失败源于工具处理而非推理能力。

GLM-5.3 与 Claude Fable 5 在 DeepSWE 编码基准上的对比分析

在 DeepSWE 编码基准测试中，GLM-5.3 与 Claude Fable 5 的首轮通过率（pass@1）分别为 69.0% 和 69.7%，表现几乎持平。

GLM-5.3 与 GPT-5.6 Sol 在 DeepSWE 上的编码能力与成本对比

Together AI 在 DeepSWE 基准上对比了 GLM-5.3 与 GPT-5.6 Sol 的表现。GPT-5.6 Sol 在单次尝试中保持领先，而 GLM-5.3 在多次尝试下表现更优且成本仅为前者的一半。分析建议采用级联路由策略，即优先使用 GLM-5.3，在测试失败时再调用 GPT-5.6 Sol，以实现更优的成本效益与任务覆盖率。

DeepSeek V4 Pro 0813 与 Claude Fable 5 在 DeepSWE 上的性能与成本对比

Together AI 在 DeepSWE 基准上对比了 DeepSeek V4 Pro 0813 与 Claude Fable 5 的编码能力。结果显示，Claude Fable 5 在单次尝试中准确率略高，但 DeepSeek V4 Pro 0813 在多次尝试下表现更优且成本仅为前者的 1/90。

ParallelKernelBench：前沿大模型编写多 GPU 内核的能力评估

Together AI 发布了 ParallelKernelBench (PKB)，这是一个专门用于评估多 GPU 内核生成能力的基准测试框架，包含 87 个源自真实代码库的分布式计算问题。测试显示，即使是 GPT-5.5 和 Gemini 3 Pro 等前沿模型，在零样本设置下也难以生成优于 PyTorch + NCCL 基准的内核，且在处理 rank 协调和通信机制选择时表现出明显的推理短板。