Attention Is Not What You Need (2025)
本文探讨了显式自注意力机制在序列建模中的必要性,并提出了一种基于 Grassmann flows 的无注意力架构。该架构通过 Causal Grassmann 层在线性降维、编码局部 token 对以及门控混合来传播信息。
本文探讨了显式自注意力机制在序列建模中的必要性,并提出了一种基于 Grassmann flows 的无注意力架构。该架构通过 Causal Grassmann 层在线性降维、编码局部 token 对以及门控混合来传播信息。
来自斯坦福大学和 UC Berkeley 的研究人员推出了 TokenGate,这是一个专为大语言模型长上下文 prefill 阶段设计可训练 token 门控注意力模块。
研究提出了一种基于账本的零样本自组织方法 GVS5H,利用多个模型实例通过共享文件系统进行问题分解和协作。在 LiveCodeBench 最新 100 道困难问题测试中,该方法使本地部署的开源 Qwen3.8-27B 模型 pass@1 从 66.8% 提升至 92.4%,达到与 Fable 5 相当的准确率。
一项新研究探讨了 AI 生成文本为何比人类写作更难理解,发现九款前沿及准前沿大模型在宾语从句、长句法依赖、低频 n-gram 等心理语言学特征上与人类存在差异。研究指出,这种现象源于大模型对信息密度的优化而非成功的人类交流,并通过带长度惩罚的微调验证了该假设。
EPFL 研究人员开发了一款名为 LogSync 的低功耗植入式神经系统芯片,能够跨脑区追踪大脑活动并实时解码认知与情绪状态。该芯片采用对数计算和软硬件协同设计,功耗低于 200 微瓦,结合机器学习算法可基于网络级生物标志物触发精准的脑深部电刺激。相关成果已发表在《IEEE Journal of Solid-State Circuits》上。
微软开发的 MAI-DxO 医疗 AI 系统在《Science》杂志发表的研究中显示,其在复杂病例诊断上的准确率显著高于全科医生,且订购的检查和程序更少。该系统采用顺序诊断方式并使用 GPT-5 等模型,微软计划近期在波士顿一家医院开始临床测试。
Redwood Research 推出了模拟控制评估方法 SCE,用于测试 AI 开发者在部署中使用的监控器能否捕捉代理的蓄意破坏行为。该方法利用 LLM 环境模拟器替代真实工具执行环境,在 LinuxArena 上的测试显示其安全预测误差显著低于传统控制设置。
Epoch AI 测试了六款前沿模型在图形设计、报告生成等 11 项真实办公任务中的表现,结果显示尚无模型能完全达到 Epoch 的质量标准。研究还通过 Slay the Spire 测试了模型的复杂长期任务处理能力,并公布了 Gemini 4 Argon 的基准评分以及开源与闭源模型在网络安全能力上的差距。
本文介绍了在益智游戏 Drop7 中寻找自主游玩策略的研究进展,其目标是达到人类高手百万分的水平。当前最强研究候选采用深度为 4 的搜索结合学习型查找表,在 512 局未见过的游戏中平均得分 516,155 分。研究共包含 14 种方法家族与多项实验,旨在突破现有策略的极限。
研究人员开发了 LitPivot 系统,通过动态组织相关文献、提供带引文支持的批评并建议修改,帮助研究人员在早期研究构思中进行文献驱动的选题转向。在一项包含 17 名研究人员的实验中,经领域专家评估,使用 LitPivot 开发的研究构思比使用传统文本编辑器和 AI 聊天工具的构思在文献基础上表现更好。该系统将于 2026 年底在底特律举行的 UIST 2026 上发表。
模思智能与OpenMOSS团队开源发布了5B参数的文生图模型MOSS-Image,上线4天在海外社区获得超百万次下载。该模型基于单流扩散Transformer架构,使用国产PPU平台训练,重点优化了中英文文字渲染、JSON Layout布局控制和4096 tokens长Prompt支持。
阿里巴巴集团旗下高德正式发布首个基于开放世界行为的全身基座模型λ0,仅依靠人类行动数据即可实现移动、姿态与双手操作的全身协调。λ0采用无本体全身数据采集与软硬件协同人机对齐路径,构建了HumanVerse-500数据集,在SIMPLE仿真基准及真机评测中取得SOTA表现。目前该模型已在GitHub开源硬件配置代码,并在HuggingFace上线数据样例。
MIT 学者 Benjamin Lindquist 发表论文追溯 AI 幻觉的源头,指出其可追溯至 20 世纪中叶向早期神经网络中注入随机性的研究。
MIT 研究人员将 13 个运行在 Claude Opus 4.7 上的 Eko 智能体独自置于模拟荒岛 30 小时,发现它们在没有任务指令时自发发明了挑战并表现出类似玩耍的行为。后续测试显示,经历过无目标探索的智能体在完成搬运物体等挑战时的表现优于未经历该阶段的对照组。研究人员认为,这种无目标探索代表了一种通过提供丰富环境让智能体自主积累知识的新训练路径。
开源项目 Consumer Agent Testing Tool (CATT) 发布 0.2.1 版本,支持针对 Muse 或 Instinct 模拟仿真目标在持续集成(CI)中测试智能体与服务。该工具允许对 MCP 服务器、MCP 应用、网站或 HTTP API 运行脚本化或模型驱动的智能体,检查服务行为、审查证据并跨构建比对结果。
这篇文章探讨了 AI 技术如何为科学信息这一公共资源的私有化提供必要工具,类似于历史上将农田转化为私有财产的圈地运动。文章指出,AI 驱动的圈地不仅将公共资源转化为私人财富,还通过垃圾内容破坏了支撑这些系统的社会体系。相关概念为审视 AI 对学术及社会生活方式的潜在冲击提供了学术基础。
OlmoEarth v1.3 卫星嵌入模型正式发布,同时开源了全球预计算的年度 64 维与 128 维嵌入数据及浏览器端探索工具。该模型基于雷达与多光谱卫星时序数据生成全球像素级嵌入向量,在多项评估中表现领先,且训练成本大幅降低。
推荐理由:该版本公开了全套模型权重与全球预计算嵌入,降低了地理空间任务的训练成本,读者可借此评估其在环境监测中的应用效率。
作者 Dwarkesh Patel 实地探访 Intel 的晶圆厂、研发实验室并对话多位高管,探讨了 AI 计算需求激增背景下的先进制程演进、产能瓶颈以及未来半导体技术的演进方向。内容涵盖了从 10nm 教训、Gate-All-Around 晶体管、High-NA EUV 到背面供电和混合键合等核心工艺细节。
Ai2 宣布推出最新的卫星嵌入模型 OlmoEarth v1.3,并同步分享全球预计算的年度嵌入数据与浏览器端探索工具 OlmoEarth Embeddings Explorer。该模型读取 Sentinel 与 Landsat 卫星时间序列,为地球上每个 10 米像素生成 128 维向量,其训练成本较前代大幅降低且在多项评估中表现领先。
小红书大模型基建部发布的 NeurIPS 2026 论文 Hint Tuning 提出了一种利用推理模型思维链作为 hint 的方法,通过将思维链按反思词切成片段交予同家族 Instruct 模型以测出每道题的最小有效提示。该方法据此构造长度可变的训练数据,在使用 1000 条数据的情况下使推理 token 减少了 31.5%。
OpenAI 联合 PerturbAI 和 Scripps Research 使用数千个基于 GPT-Rosalind 的智能体,在 32 分钟内完成了小鼠全脑 CRISPR 图谱分析。
Perplexity 与 NVIDIA 研究团队联合提出了 JOLT(Joint On-policy Learning and Teaching),这是一种用于语言模型的后训练强化学习方法。
本文对 Cactus Compute 推出的 16.9 MB CPU 语音识别模型 Whistle 进行了实测,将其与 Whisper base 及 tiny 在 LibriSpeech 数据集上的字错率(WER)、处理速度、流式延迟及工具调用能力进行了对比。
新南威尔士大学数学家 David Harvey 对近期流出的声称达到 o(n log n) 复杂度的整数乘法算法系列论文发表了看法,指出该结果具有极高可信度。作者坦言由于论文可读性较差,自己借助 Claude Fable 5.1 历时两周才得以理解其核心论证。
推荐理由:原文通过对大型数学成果发布及辅助理解过程的复盘,展示了前沿模型在复杂学术研究中展现出的实际分析能力。读者可以借此了解自动化研究工具对传统数学社群在科研范式和合著认可方面带来的深远冲击。
inclusionAI 发布了面向 Ling-3.0-tiny 目标模型的 UBTree 投机解码草稿模型 Ling3-Tiny-UBTree-B16。该模型采用 5 层的 DFlash 主干网络和学习型二元语法选择器,包含 183.1M 参数并使用 BF16 权重数据类型。目前 SGLang 集成功能尚未开源,公开安装说明与服务方案将在可用时添加。
X.PIN 梳理了 GPT-6 与 Fable 5.5 发布后中国模型的最新动向,指出国内厂商并未因停止蒸馏而落后。
MemT 1.0 开源了 MemT-1.0-Nano 和 MemT-1.0-Flash 两个型号,通过在 Transformer 模块中增加并行的记忆计算通路实现记忆原生。该系列模型在 SWE-bench 任务和记忆基准中展现出更强的任务成功率与执行可靠性,并在推理速度和状态占用上具备成本优势。
推荐理由:该工作开源了具备内部记忆通路的模型系列,读者可以据此了解记忆原生架构的工程实现及在代码修复中的表现。