Five Qwen3.8-27B models match Fable 5 Using GVS5H Harness
研究提出了一种基于账本的零样本自组织方法 GVS5H,利用多个模型实例通过共享文件系统进行问题分解和协作。在 LiveCodeBench 最新 100 道困难问题测试中,该方法使本地部署的开源 Qwen3.8-27B 模型 pass@1 从 66.8% 提升至 92.4%,达到与 Fable 5 相当的准确率。
研究提出了一种基于账本的零样本自组织方法 GVS5H,利用多个模型实例通过共享文件系统进行问题分解和协作。在 LiveCodeBench 最新 100 道困难问题测试中,该方法使本地部署的开源 Qwen3.8-27B 模型 pass@1 从 66.8% 提升至 92.4%,达到与 Fable 5 相当的准确率。
作者构建了一个基于 Pokémon Showdown 2v2 对战环境的多智能体测试平台,用来评估大语言模型智能体之间的协作、沟通与谈判能力。实验显示,使用 Qwen3.8-27B 模型时,自由对话组的胜率达到 64%,高于无对话组的 42%,但自由对话也带来了每场战斗 978k prompt tokens 的消耗。
NVIDIA 宣布在欧洲首台百亿亿级超算 JUPITER 上完成了 104 量子比特的容错量子计算模拟,这是迄今为止规模最大、细节最完整的容错量子处理器模拟。该模拟验证了一种比以往方法少用 90% 物理量子比特的魔态培养方法,有助于在制造硬件前预测性能并加速药物发现等领域的量子应用。
开发者 dom96 推出了专为对抗大模型和编码智能体而设计的深奥编程语言 KillSwitch,其规范包含隐藏规则、字符计数限制及安全护栏触发机制。该项目开源了解释器并公布了主流模型的基准测试排行榜,其中 Claude Opus 5 表现最好,得分最高达到 66.8。
优必选推出统一多模态世界模型 Thinker-WM,在 WorldOlympiad、EWMBench 和 WorldArena1.0 三大具身世界模型基准评测中夺得第一。该模型采用 Unified Dynamic Transformer 架构,将 RGB 视频、深度和机器人动作编码至同一个中间表征空间共享动态演化,支持视频动作联合生成、世界预测、策略推理等六大能力。
阿里 Qwen 团队于 10 月 14 日开源 BlenderWorld,这是一个用于评测视觉智能体在 Blender 中完成真实 3D 创作任务的基准。该基准包含 223 道题与 2651 条标准,采用 MIT 许可证,代码与数据集已发布至 GitHub、Hugging Face 和 ModelScope。
Composo 开源了 DishwasherBench v0.1.0,这是一个基于 Bosch SMV4HAX40G 洗碗机物理模拟的基准测试平台,支持人类和 AI 智能体通过 MCP 接口进行装载任务比拼。该项目通过模拟喷淋、水流及洗涤化学反应,根据 Eco 50 程序下的洗涤结果对模型装载效率进行评分,目前已在 GitHub 上线并提供相关研究文档与测试工具。
GitHub 发布了 ReviewBench,这是一个旨在评估 AI 代码审查智能体的开源基准测试。该基准包含 219 个真实 Pull Request,通过多源黄金集、统一评估准则及高级工程师验证,提供包括准确率、召回率在内的多维度评估指标,支持开发者提交并对比不同智能体的审查表现。
推荐理由:该基准测试通过分析超一亿次真实 Pull Request 构建,为评估 AI 代码审查智能体提供了可复用的离线评估方法与公开排行榜。
Amazon 发布了 SOP-Bench,这是一个旨在评估 AI 智能体执行真实业务标准操作程序(SOP)能力的开源基准测试。该框架涵盖 12 个行业领域的 2000 多项任务,通过提供真实流程文本、配套工具接口及标准答案,支持开发者验证智能体在复杂、多步骤任务中的实际表现,并已在 GitHub 和 Hugging Face 上开源。