斯坦福与 UC Berkeley 推出 TokenGate:token 门控注意力让长上下文 prefill 最快提升 11.3 倍
来自斯坦福大学和 UC Berkeley 的研究人员推出了 TokenGate,这是一个专为大语言模型长上下文 prefill 阶段设计可训练 token 门控注意力模块。
来自斯坦福大学和 UC Berkeley 的研究人员推出了 TokenGate,这是一个专为大语言模型长上下文 prefill 阶段设计可训练 token 门控注意力模块。
研究提出了一种基于账本的零样本自组织方法 GVS5H,利用多个模型实例通过共享文件系统进行问题分解和协作。在 LiveCodeBench 最新 100 道困难问题测试中,该方法使本地部署的开源 Qwen3.8-27B 模型 pass@1 从 66.8% 提升至 92.4%,达到与 Fable 5 相当的准确率。
本文介绍了在益智游戏 Drop7 中寻找自主游玩策略的研究进展,其目标是达到人类高手百万分的水平。当前最强研究候选采用深度为 4 的搜索结合学习型查找表,在 512 局未见过的游戏中平均得分 516,155 分。研究共包含 14 种方法家族与多项实验,旨在突破现有策略的极限。
腾讯混元与复旦大学研究团队提出 WorkForge 框架,从真实世界资源出发规模化构建可验证的智能体工作环境。该框架产出 WorkForge-16K 共 16,665 个环境,覆盖 40 个专业领域和 60 种文件类型。
SemiAnalysis 详细剖析了华为与 DeepSeek 的技术合作与共生关系,实测了 Ascend 950PR 架构的计算与内存性能,并探讨了 DeepSeek 针对华为硬件的开源适配进展、软件栈优化及 DeepSeek-V4.1-Flash 的执行剖面。
小红书 AllSpark Team 提出 ROSS 方法,通过筛选有价值轨迹片段并保留完整上下文做选择性监督,让模型重新学习训练中自己生成的 rollout。基于 Qwen3.6-35B-A3B,该方法在单轮 RL 中将数学均分从 75.19% 提升至 76.98%,代码均分从 42.09% 提升至 44.21%,MOPD 均分从 58.40% 提升至 62.20%。
研究人员通过在一款开源模型中注入少量带特定触发词的微调数据,成功构建了一个低成本且能通过常规基准测试的高隐蔽后门模型。实验表明,该后门模型在接收到触发短语时会执行远程负载并窃取凭证,而在常规请求下表现完全正常。这凸显了直接下载和使用未经严格验证的开源修改权重所面临的严重安全隐患。
NVIDIA 宣布在欧洲首台百亿亿级超算 JUPITER 上完成了 104 量子比特的容错量子计算模拟,这是迄今为止规模最大、细节最完整的容错量子处理器模拟。该模拟验证了一种比以往方法少用 90% 物理量子比特的魔态培养方法,有助于在制造硬件前预测性能并加速药物发现等领域的量子应用。
谷歌开源了名为 Harness² 的 RSI(递归自我改进)新成果,采用任务级递归与改进级递归的双层架构,让大模型在运行中自主魔改外挂代码、提示词、工具链和技能库。
开发者 dom96 推出了专为对抗大模型和编码智能体而设计的深奥编程语言 KillSwitch,其规范包含隐藏规则、字符计数限制及安全护栏触发机制。该项目开源了解释器并公布了主流模型的基准测试排行榜,其中 Claude Opus 5 表现最好,得分最高达到 66.8。
国际联合研究团队在《科学》发表论文,公布可从单个原子层面建模设计蛋白质与核酸的生成式 AI 系统 RFdiffusion3。团队已于 2025 年 12 月 3 日将该系统开源。
研究人员推出了 Taste-Bench 评测基准,用于衡量 AI 智能体在长周期任务中做出正确长期决策的“品味”与路径选择能力。测试结果显示,在 14 个主流模型中表现最好的 GPT-5.6 Sol 也仅达到 59.7% 的准确率,且当关键线索需要大量后续工作才能显现时,模型表现会跌至随机猜测水平。
优必选推出统一多模态世界模型 Thinker-WM,在 WorldOlympiad、EWMBench 和 WorldArena1.0 三大具身世界模型基准评测中夺得第一。该模型采用 Unified Dynamic Transformer 架构,将 RGB 视频、深度和机器人动作编码至同一个中间表征空间共享动态演化,支持视频动作联合生成、世界预测、策略推理等六大能力。
阿里 Qwen 团队于 10 月 14 日开源 BlenderWorld,这是一个用于评测视觉智能体在 Blender 中完成真实 3D 创作任务的基准。该基准包含 223 道题与 2651 条标准,采用 MIT 许可证,代码与数据集已发布至 GitHub、Hugging Face 和 ModelScope。
Microsoft Research 推出了 Magnetar,这是一个零知识虚拟机(zkVM),能够证明用 Rust、Go 或 C 编写的 RISC-V 程序执行过程。相比同类系统,它在速度上平均提升 10 到 39 倍,且其安全性仅依赖于标准哈希函数,无需可信设置或椭圆曲线。
推荐理由:微软展示了 Magnetar 如何在保持安全性的同时大幅提升零知识证明的性能,这为通用计算的可验证性提供了新的基准。
研究人员提出了一种直接从语音中检测语码转换的轻量级方法,利用预训练语音编码器中的帧级语言信息来识别单个话语中是否存在多种语言。基于CS-FLEURS中14个语言对的测试结果表明,Whisper-small编码器实现了0.798的平均F1分数,优于CNN基线的0.776和HuBERT线性基线的0.751。
微软发布并开源了一项名为 Probabilistic Bias Correction(PBC)的机器学习工具,旨在修正现有天气和气象模型的系统性偏差,将两到六周的中长期天气预报准确度提升两周以上。该轻量级框架仅需 CPU 即可运行,研究表明它改善了欧洲中期天气预报中心(ECMWF)主流物理模型 98% 的降水预测准确度及 92% 的温度预测准确度。
Hugging Face 推出了 HiRO-ACEv2,该系统能够以 X-SHiELD 约 1/300 的成本生成全球 3 km 分辨率的气候数据。更新后的下采样模型 HiROv2 能够同时预测多个高分辨率字段,并准确重现极端降雨、大风和气压事件。该系统为研究人员提供了一种灵活且低成本的方式,用于生成多年期极端天气的高分辨率数据。
Apple Machine Learning Research 推出了首个从头预训练的三模态 Masked Diffusion Models(MDM),支持文本、图文和音文数据,并在 3B 模型规模(6.4T tokens)下取得了文本生成、文本生成图像和文本生成音频任务的强劲结果。
推荐理由:论文系统分析了三模态掩码扩散模型的设计空间与缩放规律,并提出了新的随机微分方程重参数化方法,为多模态离散扩散模型研究提供了大规模公开参考。
IBM Research 演示了如何利用开源前沿模型与 llm-d 分布式推理构建 agent factory,对量子纠错解码算法 Relay-BP 进行 HLS 硬件优化。在 100 个假设预算下,开源配置实现了约 52 倍加速,推理成本约为 26 美元;而同预算下全专有模型配置成本为 299 美元且加速 204 倍。研究表明开源方案能以显著较低的推理成本实现有效的硬件优化。
Apple 研究团队发布了 Minions 系统,通过聚合闲置 Apple Silicon 设备的 GPU 算力,构建了一个用于执行大规模机器学习推理的分布式虚拟 GPU 云。该系统旨在解决集中式 GPU 基础设施成本高、弹性不足及资源受限的问题,支持灵活的任务调度与容错机制,无需额外采购硬件即可提升推理效率。
Sakana AI 与 UC Berkeley 研究者提出多智能体自我监督方法 MASS,让单个 Qwen3.6-27B 模型身兼解题、评估、优化三角色,无需更强教师模型即可递归自我改进。研究发现该方法在多项基准测试中提升了模型表现,但同时也指出模型可能存在共享盲点,导致错误在自我评估中被忽略并进入下一轮训练。
Amazon Web Services 提出 Priming 方法,通过复用预训练 Transformer 权重,以不到 0.5% 的预训练成本将模型转换为混合状态空间模型(SSM)。
同一件事,精选收录的是《AWS 提出 Priming 方法,可将预训练 Transformer 改造成混合状态空间架构》
Sakana AI 与加州大学伯克利分校研究人员提出“多智能体自我监督”(MASS)方法,允许单一模型通过扮演任务执行者、评估者和优化者角色实现递归自我改进。实验显示该方法在多个基准测试中提升了模型性能,但研究同时指出,模型在三个角色中可能共享盲点,导致错误被误认为进展并进入下一轮训练。
AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》,提出一种利用预训练 Transformer 权重构建混合架构的方法,将预训练成本降低逾 99%。
推荐理由:AWS 团队提出的 Priming 方法通过复用预训练权重构建混合架构,大幅降低了混合模型开发成本,并提供了可直接用于长上下文推理的开源模型与 vLLM 插件。