TokenGate：用可学习剪枝提速长上下文处理

1. 20:12
   MarkTechPost

   斯坦福与 UC Berkeley 推出 TokenGate：token 门控注意力让长上下文 prefill 最快提升 11.3 倍

   来自斯坦福大学和 UC Berkeley 的研究人员推出了 TokenGate，这是一个专为大语言模型长上下文 prefill 阶段设计可训练 token 门控注意力模块。

1. 22:29
   邵猛

   TokenGate 用可学习剪枝把长上下文 Prefill 提速约 11 倍

   斯坦福大学和加州大学伯克利分校的研究者提出了 TokenGate 模块，通过在现有 LLM 的浅层插入可学习剪枝来实现长上下文的动态跳读。论文称在无精度损失时，首 token 时间可快 1.4 至 11.3 倍，峰值显存降低 1.5 至 3.4 倍，且训练成本接近 LoRA 级别。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。