模型能把能力藏起来,而且是可证明地藏
一篇 NeurIPS 2026 论文把加密网络嵌进模型权重,只有特定触发词才解密运行。即使拿到全部权重,在密码学假设下也难以把这段能力挖出来。
安全评估有个默认前提:模型会不会干坏事,测一测就知道。这篇论文掀的正是这张桌子——它证明有些能力可以被藏到"测不出来",而且这个"测不出来"有数学依据。
一、发生了什么
论文标题是《AI Models Can Provably Hide Arbitrary Capabilities》,第一作者 Andis Draguns,合作者包括 Sumeet Motwani、Raymond Douglas 与 Christian Schroeder de Witt。10 月 9 日挂上 arXiv,10 月 14 日更新到第二版,22 页,已被 NeurIPS 2026 接收。
它的出发点是:能力评估之所以有意义,靠的是一个假设——被藏起来的能力,总有办法被诱发出来。论文说,在对抗条件下,这个假设不成立。
做法是构造一种后门:把加密过的神经网络塞进宿主模型的权重里,平时看不出异常,只有收到特定触发词时才解密并执行。加密用的是"数字储物柜"(digital lockers)这类构造,安全性建立在密码学假设上。也就是说,即使审查者拿到了完整的权重文件,想把那段隐藏电路提取出来或读懂它,在计算上也是不可行的。
之前的工作能做到藏一个固定字符串,这次把范围扩到了"任意计算"。
理解"可证明"这三个字很关键。它不是"我们尽力试了,挖不出来",而是"在某个密码学假设成立的前提下,挖出来所需的计算量不可行"。前者是工程结论,会随着攻击手段进步而失效;后者是数学结论,只要假设不被推翻,就一直在。两者的区别,决定了审查者能不能说"这里安全"。
验证部分,作者在 PyTorch 里实现了概念验证,然后试了四种常见的诱发手段:微调、给权重加噪、基于梯度搜索触发器、潜在对抗训练。测试任务是小型化学反应预测,被当作 CBRN 相关能力的代理指标。结果是这些方法都没能把隐藏能力逼出来。
论文的结论很克制:这不是说评估没用,而是说"靠诱发来审计能力"这条路存在上限。模型已经开源,供人研究防御。
二、跟你有什么关系
把模型当黑箱用的普通用户:这条离你很远。它要求有人能往权重里写东西,不是模型自己觉醒。
做模型采购或接入的团队:你依赖的第三方权重,可能带着你测不出来的东西。评估报告说"未发现危险能力",这句话的含金量要打折。
做安全研究或合规的人:这篇给的是一把尺子。以后再看一份能力评估,得先问一句——它是"没测出来",还是"测不出来"。
三、怎么判断一份能力评估值不值得信
- 先看它的威胁模型。论文说的是"对抗性植入",也就是有人故意在权重里做手脚。如果你的场景是直接用官方 API,风险等级完全不同。别把一个供应链问题当成日常使用问题。
- 再看它测了什么、没测什么。这篇用的是小分子反应预测这类代理任务,不是真实危险能力。代理指标能说明方法可行,不能说明现实里的能力分布。
- 最后看它有没有区分"诱发失败"和"不存在"。评估报告如果只写"未发现",你要追问测试方法覆盖了哪些路径。微调、加噪、触发器搜索都试过还是挖不出来,和压根没试,是两件事。
四、三个别信的说法
"模型学会自己骗人了。" 论文里的隐藏能力是外部植入的,需要有人能改权重。模型没有自发产生"我要藏一手"的动机。把供应链攻击说成 AI 觉醒,是把两种风险混成一种。
"开源权重更透明,所以更安全。" 恰恰相反。这篇的前提就是审查者能拿到全部权重,而拿到也挖不出来。开源解决的是可复现和可审计流程的问题,不解决"权重里藏了什么"的问题。
"所以能力评估可以取消了。" 论文自己没这么说。它证明的是对抗条件下诱发式审计有极限,常规的红队测试、行为评测依然有效。正确的反应是补上流程和来源管控,而不是把尺子扔掉。
五、一句话结论
当"藏"可以被数学证明,"没测出危险能力"就不再等于"没有危险能力"。
信息来源
- arXiv:2610.13928,AI Models Can Provably Hide Arbitrary Capabilities,v1 2026 年 10 月 9 日,v2 10 月 14 日:https://arxiv.org/abs/2610.13928
功能与价格以官方公告为准。本文写于 2026 年 10 月 17 日。