跳到正文
10月25日周日
  1. Hacker News-首页64

    Five Qwen3.8-27B models match Fable 5 Using GVS5H Harness

    研究提出了一种基于账本的零样本自组织方法 GVS5H,利用多个模型实例通过共享文件系统进行问题分解和协作。在 LiveCodeBench 最新 100 道困难问题测试中,该方法使本地部署的开源 Qwen3.8-27B 模型 pass@1 从 66.8% 提升至 92.4%,达到与 Fable 5 相当的准确率。

    发布时间:
10月22日周四
  1. Hacker News-首页31

    LLM 智能体如何玩 Pokémon Showdown

    作者构建了一个基于 Pokémon Showdown 2v2 对战环境的多智能体测试平台,用来评估大语言模型智能体之间的协作、沟通与谈判能力。实验显示,使用 Qwen3.8-27B 模型时,自由对话组的胜率达到 64%,高于无对话组的 42%,但自由对话也带来了每场战斗 978k prompt tokens 的消耗。

    发布时间:
10月21日周三
10月20日周二
  1. NVIDIA:Newsroom64

    NVIDIA 在 Jülich 超算中心完成 104 量子比特容错量子计算模拟

    NVIDIA 宣布在欧洲首台百亿亿级超算 JUPITER 上完成了 104 量子比特的容错量子计算模拟,这是迄今为止规模最大、细节最完整的容错量子处理器模拟。该模拟验证了一种比以往方法少用 90% 物理量子比特的魔态培养方法,有助于在制造硬件前预测性能并加速药物发现等领域的量子应用。

    发布时间:
10月19日周一
  1. Hacker News-首页61

    开发者推出专门对抗大模型和编码智能体的编程语言 KillSwitch

    开发者 dom96 推出了专为对抗大模型和编码智能体而设计的深奥编程语言 KillSwitch,其规范包含隐藏规则、字符计数限制及安全护栏触发机制。该项目开源了解释器并公布了主流模型的基准测试排行榜,其中 Claude Opus 5 表现最好,得分最高达到 66.8。

    发布时间:
10月18日周日
10月17日周六
  1. 量子位59

    优必选发布具身世界模型 Thinker-WM:多模态统一表征,单模型实现六大能力

    优必选推出统一多模态世界模型 Thinker-WM,在 WorldOlympiad、EWMBench 和 WorldArena1.0 三大具身世界模型基准评测中夺得第一。该模型采用 Unified Dynamic Transformer 架构,将 RGB 视频、深度和机器人动作编码至同一个中间表征空间共享动态演化,支持视频动作联合生成、世界预测、策略推理等六大能力。

    发布时间:
10月13日周二
  1. AIHot68

    DishwasherBench v0.1.0 开源:在真实洗碗机物理模拟中测试大模型装载能力

    Composo 开源了 DishwasherBench v0.1.0,这是一个基于 Bosch SMV4HAX40G 洗碗机物理模拟的基准测试平台,支持人类和 AI 智能体通过 MCP 接口进行装载任务比拼。该项目通过模拟喷淋、水流及洗涤化学反应,根据 Eco 50 程序下的洗涤结果对模型装载效率进行评分,目前已在 GitHub 上线并提供相关研究文档与测试工具。

    发布时间:
10月5日周一
  1. GitHub Blog · AI & ML76

    GitHub 发布 AI 代码审查基准测试 ReviewBench

    GitHub 发布了 ReviewBench,这是一个旨在评估 AI 代码审查智能体的开源基准测试。该基准包含 219 个真实 Pull Request,通过多源黄金集、统一评估准则及高级工程师验证,提供包括准确率、召回率在内的多维度评估指标,支持开发者提交并对比不同智能体的审查表现。

    发布时间:

    推荐理由:该基准测试通过分析超一亿次真实 Pull Request 构建,为评估 AI 代码审查智能体提供了可复用的离线评估方法与公开排行榜。

8月21日周五
  1. Amazon Science70

    Amazon 发布 SOP-Bench:用于评估 AI 智能体真实业务流程执行能力的基准测试

    Amazon 发布了 SOP-Bench,这是一个旨在评估 AI 智能体执行真实业务标准操作程序(SOP)能力的开源基准测试。该框架涵盖 12 个行业领域的 2000 多项任务,通过提供真实流程文本、配套工具接口及标准答案,支持开发者验证智能体在复杂、多步骤任务中的实际表现,并已在 GitHub 和 Hugging Face 上开源。

    发布时间: