Google Research 推出大模型持续学习 sleep 框架

Google Research 推出了用于大模型持续学习的 sleep 框架，通过交替进行主动交互与离线记忆巩固，解决了大模型在持续学习中的灾难性遗忘问题。 该框架利用参数扩展、知识蒸馏和梦境阶段的自主自我提升，将短语境转化为长期参数。Google Research 称，该方法在多阶段持续翻译、长达 10M token 的长文本理解、事实知识吸收以及数学推理基准测试中，均表现优于传统基线模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。