跳到正文
只看一手#评测/基准
  1. OpenAI News72

    OpenAI 发布多款新模型并推出低资源编程语言编码评测

    OpenAI 推出了最新模型，大幅提升了在 COBOL、Fortran 和 Visual Basic 等低资源编程语言中的软件构建与代码迁移能力。

    发布时间：

    推荐理由：原文公布了新模型在低资源编程语言和代码迁移上的具体评测基准与性能提升，读者可以据此评估模型在维护和现代化遗留系统时的实际能力。

  1. GitHub Blog · AI & ML76

    GitHub 发布 AI 代码审查基准测试 ReviewBench

    GitHub 发布了 ReviewBench，这是一个旨在评估 AI 代码审查智能体的开源基准测试。该基准包含 219 个真实 Pull Request，通过多源黄金集、统一评估准则及高级工程师验证，提供包括准确率、召回率在内的多维度评估指标，支持开发者提交并对比不同智能体的审查表现。

    发布时间：

    推荐理由：该基准测试通过分析超一亿次真实 Pull Request 构建，为评估 AI 代码审查智能体提供了可复用的离线评估方法与公开排行榜。

  1. Hugging Face Blog88

    Microsoft 发布 ThinkingBox：基于数据库状态的 AI 智能体评估基准

    Microsoft 在 Hugging Face 发布 ThinkingBox，这是一个通过评估 AI 智能体在隔离环境中对后端数据库产生的实际状态变更来衡量其可靠性的基准。该基准包含 507 个业务工作流任务，通过 20 次重复运行测试模型的一致性，发现多数模型在单次成功率与多次重复成功率之间存在显著差距，并指出约 80% 的失败源于工具处理而非推理能力。

    发布时间：

    推荐理由：该研究通过评估 AI 智能体在业务工作流中对数据库状态的实际影响而非仅关注对话内容，揭示了模型在可靠性与一致性上的差距，为智能体评估提供了新的可执行基准。

已经到底了