用户改了三遍的要求，模型到第三遍就忘了

跟对话助手打交道有个日常烦恼：你先说「别放辣」，聊了十句又补一句「汤要少盐」，然后改口「辣可以微辣」。人类的约束是边聊边改的，而模型记得住前半句，往往处理不好后半句的「改口」。10 月 24 日 arXiv 的一篇论文把这个现象拆成了两个可测量的故障。

一、发生了什么

论文把故障分成两类：一是持续失败，轮数一多，仍然有效的约束开始被无视；二是复发失败，明明已经撤回的要求，模型过几轮又执行起来。已知唯一的补救是外部账本：每轮把整理好的规范重新注入一次。这项工作想证明模型可以自己管好这件事。

方法上，让一个模型维护自己的约束状态——一种带墓碑标记的结构化状态，撤回的要求记入墓碑而不是删除。训练分两步：先微调「把对话总结成约束状态」和「看着状态回答」两种能力，再做自我训练，只保留能通过严格往返校验的轮次。意外出在这里：七八十亿参数的模型把状态追踪学得近乎完美，却照样违规，在一个 8B 主干上每种监督变体都让复发率翻倍。作者于是加了偏好训练：拿模型自己生成的违规对照做偏好对，选中的回答通过校验，落选的恰恰执行了已撤回的规则。

摘要报告的结果：在两个主干、留出的约束族和未见过的表述上，复发率比监督式自我训练降 8 到 22 个点，对话成功率比主干高 8 到 19 个点，不需要推理时脚手架就在复发指标上超过了外部账本式基线。论文同时量化了这套配方对通用指令遵循能力的代价，并研究了权重插值作为缓解手段。

二、跟你有什么关系

做对话产品的人：用户流失常发生在「它又忘了」的时刻。持续和复发这两个指标可以直接搬进你们的评测集。

做 agent 的人：多轮任务里的规则同样会演化，这篇的墓碑式状态设计比「每轮重新注入全部规则」的账本方案省推理开销。

做训练的人：先追踪后服从的落差是个普适现象，监督微调学会「知道」不等于学会「照做」，偏好阶段不可省。

三、怎么用

1. 评测先行：构造含「新增、修改、撤回、跑题再回」四类操作的多轮测试对话，分别统计两类失败率。
2. 修复发优先于修持续：摘要显示监督式方法反而加重复发，这类问题靠堆数据修不动，要上对照式偏好训练。
3. 盯住副作用：论文专门测了对通用能力的影响，任何约束训练上线前都该做同样的回归。

四、三个别信的说法

上下文够长就不丢约束。 丢约束不是因为读不到，是轮数累积后注意力分配出了问题，堆长上下文解决不了。

模型会追踪状态就会遵守状态。 论文最反直觉的发现正是两者脱节，追踪近乎完美与复发翻倍同时发生。

外部账本方案过时了。 账本仍是强基线，新方法只是在复发指标和免脚手架上胜出，工程上两者可以互补。这是背景，不是论文结论。

五、一句话结论

记住用户改了什么，比记住用户说了什么更难。

信息来源

• StateWise 论文摘要（arXiv），2026 年 10 月 24 日提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。