Microsoft 发布 ThinkingBox:基于数据库状态的 AI 智能体评估基准
Microsoft 在 Hugging Face 发布 ThinkingBox,这是一个通过评估 AI 智能体在隔离环境中对后端数据库产生的实际状态变更来衡量其可靠性的基准。该基准包含 507 个业务工作流任务,通过 20 次重复运行测试模型的一致性,发现多数模型在单次成功率与多次重复成功率之间存在显著差距,并指出约 80% 的失败源于工具处理而非推理能力。
推荐理由:该研究通过评估 AI 智能体在业务工作流中对数据库状态的实际影响而非仅关注对话内容,揭示了模型在可靠性与一致性上的差距,为智能体评估提供了新的可执行基准。