跳到正文
热点事件持续更新

斯坦福研究揭示LLM上下文学习依赖重复标签查找

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

斯坦福大学研究人员发表论文指出,大语言模型在少样本提示中是通过查找存储的标签来学习,而非学会新模式,且该查找机制仅在标签重复时开启。研究人员追踪了多个模型的内部路径,建议在少样本提示时应重复标签并选择模型可辨别的类别。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. Rohan Paul
    斯坦福论文揭示上下文学习电路:小模型靠重复标签触发查找而非学会新模式

    斯坦福大学研究人员发表论文 A Circuit for In-Context Learning,发现大语言模型在少样本提示中通过查找存储的标签来学习,且仅在标签重复时才开启该查找机制。研究追踪了 Qwen3-4B、SmolLM3-3B 和 Llama-3.2-3B 等模型的完整内部路径,指出模型无法通过示例学会其本身缺乏的特征,因此在少样本提示时应重复标签并选择模型可辨别的类别。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。