跳到正文
#评测/基准
10月19日周一
10月18日周日
  1. The Decoder58

    AI 智能体在长期决策中表现出判断短板，全新评测基准 Taste-Bench 揭示其实际水平

    研究人员推出了 Taste-Bench 评测基准，用于衡量 AI 智能体在长周期任务中做出正确长期决策的“品味”与路径选择能力。测试结果显示，在 14 个主流模型中表现最好的 GPT-5.6 Sol 也仅达到 59.7% 的准确率，且当关键线索需要大量后续工作才能显现时，模型表现会跌至随机猜测水平。

    发布时间：
  2. Hacker News-优质评论15

    Ultramarine 1 Flash 评论讨论

    讨论指出 Ultramarine 1 Flash 的测评图表存在选择性对比，忽略了 Fable 5.1、GPT-6 Astra、Claude Opus 5.5 等更强模型。评论提到该模型达到 Fable 级知识工作能力且价格便宜 60 倍，但其营销中的统计图表选择引发了关于透明度与基准测试的争议。

    发布时间：
10月17日周六
  3. Hacker News-首页22

    全球太阳能发电量历史上首次超越核能

    根据 WNISR 2026 报告，全球太阳能发电量在 2025 年首次超越核能，风能与太阳能自当年 3 月起持续在月度发电量上超过核能。2025 年全球太阳能装机容量增加 510 GW 达到 2,383 GW，风能增加 159 GW 达到 1,291 GW，而核能装机容量仅微增 1.5 GW 至 399.5 GW。

    发布时间：
  4. MarkTechPost43

    Jev 发布约 4 周内涌现 20 个替代决策模型，MarkTechPost 横向对比选型

    TypeSafe 于 2026 年 9 月 15 日发布决策模型 Jev 后约 4 周内，市场上涌现出 20 个替代方案。MarkTechPost 对这些来自 Cloudflare、OpenAI、Perplexity、Liquid AI、AWS Strands Labs 及独立开发者的模型进行了横向对比。对比涵盖参数规模、许可证、硬件、定价、Jev API 兼容性和基准表现等维度。

    发布时间：
  5. IT之家·人工智能44

    微软研究院发布 StudentSim：用 AI 学生模拟器替真人试课，优化 AI 导师

    微软研究院发布 StudentSim 研究系统，利用公开去标识化的学习者记录为每位学生训练个性化“AI 学生模拟器”，以模拟真人独立作答及收到讲解后的反应变化。该系统采用两阶段训练，覆盖国际象棋、第二语言英语写作和数学三类任务，并推出了 StudentSimEval 评测基准。

    发布时间：
  8. Hao AI Lab44

    4️⃣ 但当证人被收买时… 💰 在 100 个更高难度的案例中，被收买的证人数量超过了诚实的证人。以下是各团队的表现： • 🏅 GPT6-Astra + Jev swarm: 93 • 🥈 仅 GPT6-Astra: 59 • 🥉 仅 Jev swarm: 42 • ❓ 基于规则的领头者 + Jev swarm: 0–1 核心结论：面对有组织的谎言，你需要一个会追问“是谁在说话”的 reasoning 领头者。

    发布时间：
  11. 🚨 AI News | TestingCatalog64

    Elorian 发布了首个 AI 模型 Glimpse，该模型支持在思考过程中回看并重新分析图像或视频片段，包括在视频中返回特定时间、放大细节或以更高帧率重放视频。在 Elorian 的测试中，Glimpse 在科学图表阅读和短视频字幕生成上表现优于 GPT-6 Astra，在机器人手臂模拟规划中成本更低，并在迷宫测试中展现出优势。

    发布时间：
  14. Hacker News-Hot61

    美国90%的工作时间花在AI基准未能充分覆盖的任务上

    Mercor研究团队通过将29个AI基准映射到美国劳工部的O*NET职业分类，发现90%的美国工作时间被花费在现有基准几乎没有覆盖的任务上。研究表明，现有基准主要集中在AI高度暴露、工资总额较高及任务重要性评分靠前的领域，导致中下层知识工作和长尾职业存在较大盲区。

    发布时间：
  16. TechCrunch · AI63

    Jev 成为 Vercel 历史上采用速度最快的 AI 模型

    由 TypeSafe AI 开发的 Jev 在 Vercel 上线两周内被 35% 的付费团队使用，成为该平台历史上采用速度最快的 AI 模型。Vercel 数据显示其使用范围接近排名第二的 Sonnet 5.5 的两倍，该模型主打轻量化输出选择以实现快速且低成本的数据分类。

    发布时间：
10月16日周五
  1. The Verge · AI63

    The Verge 评测 Nvidia RTX Spark 笔记本：一周上手体验与各项性能表现

    The Verge 多位作者联合实测了搭载 Nvidia 全新 RTX Spark N1X 处理器的高端笔记本，指出其图形和部分多任务处理能力强劲，但 CPU 单核性能、高昂售价以及本地 AI 体验仍有待提升。文章详细对比了其在主流游戏中的帧率、续航表现及运行本地大模型的功耗表现。

    发布时间：
  2. The Decoder：AI News55

    Google Gemini 4 Argon 在 ARC-AGI-3 达 97.5%

    Google DeepMind 推出的 Gemini 4 Argon 在 ARC-AGI-3 上使用 Provider Adapter Harness 取得了 97.5% 的得分，成本为 4,800 美元，成为第二家越过 95% 门槛的实验室，但仍低于 GPT-6 Astra 的 99.9%，且在数学与软件工程前列保持落后。

    发布时间：
  11. Hacker News-优质评论20

    New comment by a11r in "Muse Spark Open" 讨论

    人工分析显示 Qwen3.8 Flash Next 和 GLM 5.3 Flash 的表现优于部分竞争对手，且两者均可在单个 B300 上运行。Meta 在开源权重领域仍需迎头赶上。此外，人工分析目前仅提供最高推理级别的对比，这对高吞吐量生产用例基本不可用。

    发布时间：
10月15日周四
  1. The Decoder61

    Google 表示自我改进的 AI 远未到来

    Google 工程师 Haydn Belfield 表示，尽管自动化在生产代码编写等任务中已经占据很大比例，但自我改进的 AI 仍然遥远。Google DeepMind 内部数据显示，AI 驱动的研发并未出现可测量的加速，Gemini 能力正以每月约 0.1 个通用能力指数点的速度稳步增长，未见统计显著的加速迹象。复杂任务仍高度依赖人类，全自动智能体在面临复杂性时成功率显著下降。

    发布时间：
10月14日周三
10月13日周二
  1. 量子位66

    魔法原子具身Agent框架拿下MolmoSpaces全球第一

    量子位报道称，在具身智能零样本评测基准MolmoSpaces最新榜单上，魔法原子旗下的EchoPolicy-0框架以75.4%的平均成功率位列Combined榜单全球第一，其自研具身智能Agent框架MagicBrain也位列全球第四。EchoPolicy-0通过Agent调度与轨迹打分闭环验证提升指令遵循能力，MagicBrain则通过上下文视觉引导技术将抓取任务成功率提升至94.4%。

    发布时间：
  2. AIHot68

    DishwasherBench v0.1.0 开源：在真实洗碗机物理模拟中测试大模型装载能力

    Composo 开源了 DishwasherBench v0.1.0，这是一个基于 Bosch SMV4HAX40G 洗碗机物理模拟的基准测试平台，支持人类和 AI 智能体通过 MCP 接口进行装载任务比拼。该项目通过模拟喷淋、水流及洗涤化学反应，根据 Eco 50 程序下的洗涤结果对模型装载效率进行评分，目前已在 GitHub 上线并提供相关研究文档与测试工具。

    发布时间：
  3. AIHot66

    DeepEval 发布 JevEval：用 Jev 替代生成式 LLM 担任评估裁判

    DeepEval 团队发布 JevEval，通过将评估逻辑、语义判断与分数计算分离，实现 LLM 评估从“生成判定”向“结构化决策”的转变。该方案利用 Jev 返回概率分布而非生成文本，配合固定公式计算确定性分数，支持命题真假、有序等级及无序行为选择等多种决策类型，适用于 Agent 输出与轨迹的精准评估。

    发布时间：