Google Research 推出用于大模型持续学习的 sleep 框架

Google Research 介绍了 sleep 框架，一种让大模型通过交替进行主动交互与离线记忆巩固来实现持续学习的新范式。该框架通过参数扩展、知识蒸馏和梦境阶段的自主自我提升，解决了大模型在持续学习中的灾难性遗忘问题。在多阶段持续翻译、长达 10M token 的长文本理解、事实知识吸收以及数学推理基准测试中，该方法均表现优于传统基线模型。