AI百科网 AI教程
AI百科

让模型「睡觉」巩固记忆:谷歌给持续学习的新答案

大模型学新知识就忘旧本事,谷歌借鉴人类睡眠提出两阶段框架:清醒时暂存、睡眠时巩固。长上下文测试稳定到约 1000 万 token,数学基准也有提升,但它仍是研究方案而非产品功能。

本文目录 · 6 节

人睡一觉,白天的经历就沉淀成长期记忆。谷歌的研究人员把这套机制搬给了大语言模型。

一、这是个什么研究

10 月 27 日,谷歌研究团队发布博文,介绍一项叫「睡眠框架」的持续学习研究,论文题为《Language Models Need Sleep》。合作方包括康奈尔大学和南加州大学。它要解决的是大模型部署后的老毛病:知识有截止日期,靠上下文临时记的东西一关会话就没,直接用新数据反复微调又会「灾难性遗忘」——新知识学进去了,旧本事掉一截。

框架把模型的运行分成两个阶段。清醒阶段照常处理输入,把新信息先放进脆弱的短期记忆;进入睡眠阶段后,模型暂停接新活,专心做两件事:一是记忆巩固,解锁预先分配好的混合专家记忆块,用知识蒸馏把短期上下文里的内容写进长期参数,同时清掉临时参数;二是「做梦」,让模型自己生成合成练习题,经过筛选后反复练习,提升推理和泛化能力。

论文报告的数字:在长上下文基准上,用这套框架的模型稳定处理约 1000 万 token;在满语、Kalamang 这类训练中没见过的语言的持续翻译任务上,性能几乎不退化,而上下文学习和监督微调两条基线都崩了;AIME 24/25 两个数学基准上分别拿到 79.2% 和 69.0% 的成绩,高于基线。

二、跟你有什么关系

如果你关心 AI 助手「记住你」这件事,这项研究指向的方向是:模型靠结构化的巩固机制长期学习,而不是把你的历史全塞进上下文窗口。后者的成本和隐私问题都难解。

如果你做模型训练,这是又一条「别急着全量微调」的证据:先暂存、再离线巩固的节奏,可能比边用边学更稳。

如果你只是普通用户,要清楚这不是新功能。它目前是研究方案,距离产品里的「记忆越来越好用」还有距离。

三、怎么判断

读到这儿,可以顺路看 怎么盯住比你强的模型?给它装一个倒带键 读完能理解弱审核者如何核验强 AI 的计算结果:新提出的可倒带交互证明允许验证器把模型回退到任意状态重来,效率高、不依赖密码学,关心 AI 安全机制的人值得一看。
  1. 别把「睡眠」当字面意思。这只是借用神经科学的比喻,全程跑在固定架构和人工设定的训练规则里,跟模型有没有意识无关。
  2. 注意时间线。论文的初版今年 6 月就挂在 arXiv 上,10 月的博文是对既有工作的解读,不是横空出世的新突破。
  3. 看 1000 万 token 这个数字的边界。它来自特定长文本基准,说明的是该任务上的稳定性,不代表部署后的助手能可靠记住你生活里的每一个细节。

四、三个别信的说法

「谷歌让 AI 学会睡觉了。」 没有睡觉,只有离线训练阶段。把比喻当机制传播,是科技新闻最常见的失真。

「以后模型就能无限记忆了。」 实验限制在特定基准和任务族,怎么决定该记什么、记错了怎么删,都是没解的问题。巩固一个错误结论,只会让它错得更顽固。

「这是新产品发布。」 谷歌的博文属于研究介绍,没有任何 Gemini 功能跟进的宣布。等它变成你能用的东西,再谈体验不迟。

五、一句话结论

先记在便签上、睡一觉再誊进笔记本——大模型的持续学习,正在抄人类大脑的作业。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 31 日。

下一站 · 具身智能 机器人学拧螺丝,为什么要拆成两步教 读完能理解机器人自主拧螺丝为何难:接触密集、发力精细、环境多变。新研究把任务拆成两段三模块,在真机上做到对齐成功率接近熟练工人,做具身操作的人可参考其分步思路。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?