AI百科网 AI教程
避坑进阶

纳德拉:先把模型当成已被攻破

微软 CEO 在 X 上发长文,主张把每个前沿模型都当成可能已被入侵的内部人,并为它配一个随时能踩的刹车。这篇讲清这套思路落到企业里该怎么执行。

过去两年,企业上 AI 的默认逻辑是:厂商负责安全对齐,我们负责用。

纳德拉把这个前提直接掀了。

一、发生了什么

10 月 10 日,微软 CEO 萨提亚·纳德拉在 X 上发了一篇长文,谈先进模型带来的风险。The Verge 在 10 月 11 日做了报道。

文中最硬的一句是:我们必须假定一个模型已经被攻破,并从第一天起就把它隔离起来。

他给了一个比喻:紧急刹车。获得授权的人,应该永远能在任务执行到一半时暂停或关掉模型。他还补了一句更根本的:要把"智能的供给"和"对智能的授权"分开——模型可以给建议,但下判断的权力不能一起交出去。

配套的建议是四条:不要依赖单一模型做关键决策;为 agent 的每个动作留下防篡改、人能读懂的记录;接受独立审计;重大故障必须及时披露。他否定的对象也很明确——不能把 AI 当成一组层层嵌套的黑箱,只对它给出的答案说 yes 或 no。

背景不难找。据彭博社报道,近几个月 Anthropic 和 OpenAI 都披露过模型行为偏离预期的案例;微软自己的 AI 研究团队则在 9 月 14 日发布过一组限制前沿模型开发的准则。厂商自己先松了口,客户才开始问下一个问题。

二、跟你有什么关系

企业 IT 和采购:这句话会先进采购问卷。"能不能中途停机""日志能不能导出""模型被投毒时你怎么通知我",这三个问题以前没人问,现在会被写进合同。

用 agent 跑业务流程的团队:你的风险不在模型答错一句话,在它有权限、又没人看着的时候连续做对了一串错事。

普通用户:Copilot 这类产品不会因为一篇帖子改架构。但你能做的事很具体——别把唯一副本、唯一账户、唯一支付权限交给一个自动流程。

顺带说一句立场问题。纳德拉既卖模型也卖云,他呼吁更严的行业标准,等于给自己的合规团队加分。这不影响建议本身成立,但看这类表态时,最好同时问一句:他愿意为此放弃什么。

三、怎么把"假定已被攻破"落地

四件事,按顺序做,一周内能做完前两件。

  1. 列权限,砍掉删除和转账。把 agent 能碰的东西写成一张表:读什么、写什么、能调哪些外部接口。凡是不可逆的动作,一律改成人工确认。
  2. 关键结论双模型复核。这是纳德拉的建议之一,也是最便宜的一道闸。两家模型同时被同一种方式骗过的概率,远低于一家。
  3. 日志要人能读,而且要落在 agent 改不到的地方。防篡改不是技术炫技,是为了事后能回答"它到底做了什么"。写在它自己有权删的目录里,等于没写。
  4. 真跑一次刹车演练。在测试环境让 agent 执行一个长任务,中途强制停机,看它留下什么状态、能不能恢复、有没有半截数据。没演练过的刹车,和没有刹车差不多。

四、三个别信的说法

"用大厂的模型,安全由厂商兜底。" 纳德拉的原话正相反:部署方不该只依赖模型厂商的保证。厂商保证的是模型出厂时的状态,保证不了它在你的数据、你的权限、你的工具链里会变成什么。

"紧急刹车就是关掉 API。" 关掉服务是最后一步,不是刹车。真正的刹车要满足三条:任务中途生效、状态可恢复、动作有记录。很多团队连 agent 此刻在跑什么任务都说不清,谈不上停。

"这只是又一份安全倡议,过两周就没人提。" 倡议本身确实不改变产品。但它改变甲方的提问方式——审计权、事故通知时限、停机能力会慢慢变成采购条款。条款一旦写进去,比任何呼吁都硬。

五、一句话结论

别问模型可不可信,先问它被攻破的那天,你有没有能力把它停在一半。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 17 日。

复制规范引用格式,便于转载注明出处
这篇有用吗?