10 年前的 CNN 皮肤癌诊断表现优于前沿 LLM
皮肤科医生测试了 GPT-6 Astra 和 Claude Fable 5.1 在 200 个活检证实的皮肤病变图像诊断中的表现,发现其准确率不及经过微调的 10 年前 CNN 模型 Inception v3。测试表明该 CNN 在整体正确率、恶性病变识别以及良性病变区分上均优于两款前沿 LLM。
皮肤科医生测试了 GPT-6 Astra 和 Claude Fable 5.1 在 200 个活检证实的皮肤病变图像诊断中的表现,发现其准确率不及经过微调的 10 年前 CNN 模型 Inception v3。测试表明该 CNN 在整体正确率、恶性病变识别以及良性病变区分上均优于两款前沿 LLM。
Nathan Lambert 发布的 Kimi K3.1 Pro 基准测试解读显示,该模型在强化学习方面取得了明显进展,其初始版本的轻量后训练已转变为更强的能力,表明中国在模型能力提升上正紧跟前沿。
月之暗面发布 Kimi K3.1 Pro 模型,作者称其为目前最强开源模型。该模型在 Terminal-Bench 4.0 上超越 Claude Opus 5.5,且成本约为后者的三分之一。
Alphabet CEO Sundar Pichai 在访谈中否认 Google 放弃前沿 AI,并表示 Gemini 4 Argon 在编码、数学、科学和知识工作基准上超越 OpenAI 和 Anthropic 的最新公开模型。他透露该模型上线 72 小时处理了近 25 万亿 token,约为 Gemini 3.0 同期的三倍。
Artificial Analysis 指出,随着各档位模型不断推出,大模型在 Intelligence Index 同等智能阈值下的调用成本在一年内大幅下降。
OpenRouter 的实时 AI 模型排行榜显示,通过其 API 处理的 token 总量使用情况出现平台期。该排行榜基于数百万开发者的真实世界 API 使用量(涵盖提示词和补全 token)进行聚合统计,并按模型变体分别排名,但未直接衡量用户数或支出金额。
Hugging Face 政策主管 Irene Solaiman 在 TechCrunch Disrupt 上表示,模型评估方法仍处于演变阶段,行业对内嵌评估员的信任度面临可复现性和标准化等挑战。她指出,当前评估正从单纯测试模型转向测试整个系统,而智能体评估不仅难度大且成本高。
hmm maybe a benchmark is okay if it makes you hungry
evals 是向前沿实验室出售数据以及构建您自己的自改进模型的基石。构建高端 evals 极其有价值且重要。
谁来评测评测者?一个好的 eval 是: 短暂的。它定格了某个时间点和能力。 扎实的。它直接测量你关心的任务和数据上的性能。 具体的。它对期望的结果进行操作,而不是某些替代品。 记下来!
讨论指出 Ultramarine 1 Flash 的测评图表存在选择性对比,忽略了 Fable 5.1、GPT-6 Astra、Claude Opus 5.5 等更强模型。评论提到该模型达到 Fable 级知识工作能力且价格便宜 60 倍,但其营销中的统计图表选择引发了关于透明度与基准测试的争议。
The Verge 多位作者联合实测了搭载 Nvidia 全新 RTX Spark N1X 处理器的高端笔记本,指出其图形和部分多任务处理能力强劲,但 CPU 单核性能、高昂售价以及本地 AI 体验仍有待提升。文章详细对比了其在主流游戏中的帧率、续航表现及运行本地大模型的功耗表现。
人工分析显示 Qwen3.8 Flash Next 和 GLM 5.3 Flash 的表现优于部分竞争对手,且两者均可在单个 B300 上运行。Meta 在开源权重领域仍需迎头赶上。此外,人工分析目前仅提供最高推理级别的对比,这对高吞吐量生产用例基本不可用。
Google 工程师 Haydn Belfield 表示,尽管自动化在生产代码编写等任务中已经占据很大比例,但自我改进的 AI 仍然遥远。Google DeepMind 内部数据显示,AI 驱动的研发并未出现可测量的加速,Gemini 能力正以每月约 0.1 个通用能力指数点的速度稳步增长,未见统计显著的加速迹象。复杂任务仍高度依赖人类,全自动智能体在面临复杂性时成功率显著下降。
目前已有 19 款可在现代智能手机上运行的 AI 模型在性能表现上超过了 GPT-4。这一进展打破了 GPT-4 长期占据的最强模型地位,展示了端侧模型在算力与效率上的快速演进。
人们对 Artificial Analysis 指数及其各项模型得分的关注度过高。该指数虽提供量化参考,但其评分结果在实际应用中被赋予了过重的权重,引发了对模型评估指标合理性的讨论。
Similarweb 数据显示,ChatGPT 网页流量份额在过去 4 个月内从 53% 回升至 56%,但仍低于一年前的 71.8%。同期 Gemini 份额从 26% 微降至 25%,Claude 份额则维持在 9.6% 左右。分析认为,若 Anthropic 未来加大对普通消费者的投入,当前的市场格局或将发生快速变化。
Andreessen Horowitz 最新报告显示,尽管 AI 普及率已近半数,但仅有 4.5% 的美国消费者拥有 ChatGPT、Gemini 或 Claude 的付费订阅。
OpenAI 近期发布了数百个数学难题的 AI 解题方案,但被指未能完全遵循数学与人工智能咨询小组(AGMAI)制定的行业准则。在 719 份手稿中,仅 10 份提供了 CoT,且 42% 的证明未经过形式化处理。此外,研究指出 OpenAI 模型在将自然语言证明转化为 Lean 代码时存在翻译偏差,引发了学界对其解题结果可信度及人类理解缺失的质疑。
本期内容介绍了 DiG-bench 基准测试,该测试通过 70 个规则隐藏的交互式游戏评估 AI 的自主发现与推理能力,目前 Opus 5 和 Fable 5 表现领先。