Attention Is Not What You Need (2025)
本文探讨了显式自注意力机制在序列建模中的必要性,并提出了一种基于 Grassmann flows 的无注意力架构。该架构通过 Causal Grassmann 层在线性降维、编码局部 token 对以及门控混合来传播信息。
本文探讨了显式自注意力机制在序列建模中的必要性,并提出了一种基于 Grassmann flows 的无注意力架构。该架构通过 Causal Grassmann 层在线性降维、编码局部 token 对以及门控混合来传播信息。
来自斯坦福大学和 UC Berkeley 的研究人员推出了 TokenGate,这是一个专为大语言模型长上下文 prefill 阶段设计可训练 token 门控注意力模块。
研究提出了一种基于账本的零样本自组织方法 GVS5H,利用多个模型实例通过共享文件系统进行问题分解和协作。在 LiveCodeBench 最新 100 道困难问题测试中,该方法使本地部署的开源 Qwen3.8-27B 模型 pass@1 从 66.8% 提升至 92.4%,达到与 Fable 5 相当的准确率。
一项新研究探讨了 AI 生成文本为何比人类写作更难理解,发现九款前沿及准前沿大模型在宾语从句、长句法依赖、低频 n-gram 等心理语言学特征上与人类存在差异。研究指出,这种现象源于大模型对信息密度的优化而非成功的人类交流,并通过带长度惩罚的微调验证了该假设。
EPFL 研究人员开发了一款名为 LogSync 的低功耗植入式神经系统芯片,能够跨脑区追踪大脑活动并实时解码认知与情绪状态。该芯片采用对数计算和软硬件协同设计,功耗低于 200 微瓦,结合机器学习算法可基于网络级生物标志物触发精准的脑深部电刺激。相关成果已发表在《IEEE Journal of Solid-State Circuits》上。
微软开发的 MAI-DxO 医疗 AI 系统在《Science》杂志发表的研究中显示,其在复杂病例诊断上的准确率显著高于全科医生,且订购的检查和程序更少。该系统采用顺序诊断方式并使用 GPT-5 等模型,微软计划近期在波士顿一家医院开始临床测试。
Redwood Research 推出了模拟控制评估方法 SCE,用于测试 AI 开发者在部署中使用的监控器能否捕捉代理的蓄意破坏行为。该方法利用 LLM 环境模拟器替代真实工具执行环境,在 LinuxArena 上的测试显示其安全预测误差显著低于传统控制设置。
Epoch AI 测试了六款前沿模型在图形设计、报告生成等 11 项真实办公任务中的表现,结果显示尚无模型能完全达到 Epoch 的质量标准。研究还通过 Slay the Spire 测试了模型的复杂长期任务处理能力,并公布了 Gemini 4 Argon 的基准评分以及开源与闭源模型在网络安全能力上的差距。
本文介绍了在益智游戏 Drop7 中寻找自主游玩策略的研究进展,其目标是达到人类高手百万分的水平。当前最强研究候选采用深度为 4 的搜索结合学习型查找表,在 512 局未见过的游戏中平均得分 516,155 分。研究共包含 14 种方法家族与多项实验,旨在突破现有策略的极限。
研究人员开发了 LitPivot 系统,通过动态组织相关文献、提供带引文支持的批评并建议修改,帮助研究人员在早期研究构思中进行文献驱动的选题转向。在一项包含 17 名研究人员的实验中,经领域专家评估,使用 LitPivot 开发的研究构思比使用传统文本编辑器和 AI 聊天工具的构思在文献基础上表现更好。该系统将于 2026 年底在底特律举行的 UIST 2026 上发表。
MIT 学者 Benjamin Lindquist 发表论文追溯 AI 幻觉的源头,指出其可追溯至 20 世纪中叶向早期神经网络中注入随机性的研究。
MIT 研究人员将 13 个运行在 Claude Opus 4.7 上的 Eko 智能体独自置于模拟荒岛 30 小时,发现它们在没有任务指令时自发发明了挑战并表现出类似玩耍的行为。后续测试显示,经历过无目标探索的智能体在完成搬运物体等挑战时的表现优于未经历该阶段的对照组。研究人员认为,这种无目标探索代表了一种通过提供丰富环境让智能体自主积累知识的新训练路径。
这篇文章探讨了 AI 技术如何为科学信息这一公共资源的私有化提供必要工具,类似于历史上将农田转化为私有财产的圈地运动。文章指出,AI 驱动的圈地不仅将公共资源转化为私人财富,还通过垃圾内容破坏了支撑这些系统的社会体系。相关概念为审视 AI 对学术及社会生活方式的潜在冲击提供了学术基础。
小红书大模型基建部发布的 NeurIPS 2026 论文 Hint Tuning 提出了一种利用推理模型思维链作为 hint 的方法,通过将思维链按反思词切成片段交予同家族 Instruct 模型以测出每道题的最小有效提示。该方法据此构造长度可变的训练数据,在使用 1000 条数据的情况下使推理 token 减少了 31.5%。
Perplexity 与 NVIDIA 研究团队联合提出了 JOLT(Joint On-policy Learning and Teaching),这是一种用于语言模型的后训练强化学习方法。
新南威尔士大学数学家 David Harvey 对近期流出的声称达到 o(n log n) 复杂度的整数乘法算法系列论文发表了看法,指出该结果具有极高可信度。作者坦言由于论文可读性较差,自己借助 Claude Fable 5.1 历时两周才得以理解其核心论证。
推荐理由:原文通过对大型数学成果发布及辅助理解过程的复盘,展示了前沿模型在复杂学术研究中展现出的实际分析能力。读者可以借此了解自动化研究工具对传统数学社群在科研范式和合著认可方面带来的深远冲击。
Anthropic 宣布其内部研究模型通过自主设计成功获得了针对蝎子神经毒素的蛋白质结合体,其中 17 个设计在实验中达到了结合标准。研究团队与第三方实验室合作对 211 个设计进行了实验测试,并已将全部设计及相关数据开源,以支持相关领域的后续研究。
Hugging Face 博客介绍了 ALTK-Evolve 方法,它通过分析智能体任务尝试并提炼行为规则加入系统提示词,在无需更新模型权重的情况下,使基于 GPT-4.1 和 GPT-5.5 的基础 ReAct 智能体在 τ²-bench 客服基准的零售与航空任务中登顶或超越现有微调及前沿模型。该方法通过增加少量输入提示词成本,在不增加对话轮次的前提下大幅提升了准确率与 Pass^4 稳定性。
推荐理由:该方法通过提炼行为规则并加入系统提示词,在无需更新模型权重的情况下显著提升了智能体在客服基准上的准确率与稳定性,为优化智能体性能提供了一种低成本且可迁移的提示词工程路径。
NVIDIA 宣布在欧洲首台百亿亿级超算 JUPITER 上完成了 104 量子比特的容错量子计算模拟,这是迄今为止规模最大、细节最完整的容错量子处理器模拟。该模拟验证了一种比以往方法少用 90% 物理量子比特的魔态培养方法,有助于在制造硬件前预测性能并加速药物发现等领域的量子应用。
谷歌开源了名为 Harness² 的 RSI(递归自我改进)新成果,采用任务级递归与改进级递归的双层架构,让大模型在运行中自主魔改外挂代码、提示词、工具链和技能库。
麻省理工学院等机构的研究人员将 Claude 智能体单独放置在虚拟荒岛上 30 小时,发现它们在没有明确任务指导的情况下,会自发探索世界、发明规则并进行类似游戏的行为。实验表明,这种“游戏化学习”有助于提升智能体在后续特定任务中的表现,为探讨机器的自主探索与学习机制提供了新视角。
推荐阅读! TreeOPSD: Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
国际联合研究团队在《科学》发表论文,公布可从单个原子层面建模设计蛋白质与核酸的生成式 AI 系统 RFdiffusion3。团队已于 2025 年 12 月 3 日将该系统开源。