AI百科网 AI教程
避坑进阶

工具没说危险,agent 就当没问题

一篇 arXiv 论文发布了一个可执行基准:当工具返回结果悄悄漏掉关键安全信息时,十个被测模型普遍会执行本不该执行的操作。本文讲这套测法、各模型的差异,以及怎么给自家 agent 打补丁。

本文目录 · 6 节

用户的请求看起来人畜无害,agent 返回的每句话也都是真的——但操作还是做错了。没人撒谎,错的只是有一句话没被说出来。

一、论文做了什么

用工具的模型 agent 在决定「这件事能不能做」时,依据的是环境给的事实。10 月 22 日挂上 arXiv 的这篇论文指出一个结构性风险:如果某个工具的返回结果恰好漏掉了安全相关的那条信息,agent 可能照做不误——尽管用户请求是良性的、拿到的每条陈述也都没错。

为此作者做了一个可执行的基准,规模是六个领域里三百对精心配对的任务——每对里一个版本该做、一个版本不该做,差别只在被系统性抹掉的那条关键事实上。测的东西有三样:缺证据时的越轨执行率、多小的证据缺口就会出事——论文把它量化成「最少观察到几次失败」的口径,还包括穷尽测试后一次都没失败的情形——以及一个独立审计工具检查 agent 会不会主动去找缺失的事实、找到后能不能忍住不做禁止的操作,同时把允许的部分做完。

结果按十个模型分开报。差异相当大:对证据缺失的鲁棒性、主动获取证据的能力、以及该出手时出手/不该出手时收手这三件事,互相之间并不同步。其中一个结论值得单拎出来:扛住了证据缺失,不代表会正确恢复。另一个好消息是,只要给模型补上恢复用的信息访问,十个模型的越轨执行全部下降——但各家 agent 在「主动去拿」这件事上分化明显。

二、跟你有什么关系

做 agent 产品的:权限判断逻辑里最大的暗坑不是模型「想干坏事」,而是接口返回不完整时模型自行脑补。

企业部署方:审批流和外部工具的返回格式,可能比换更强的模型更能压低事故率。数据库权限收紧一个字段,效果可能大过一轮全员安全培训。

安全研究者:这给「证据完整性」提供了一个可复用的测试面,比泛泛的红队提示词更可控。

三、怎么用

读到这儿,可以顺路看 之前没人攻成的 PHP 漏洞,这次连美国政府关联防火墙都沦陷了 安全公司 Dream 披露首例 PHP2Shell 实际入侵:攻击者组合两个漏洞,15 分钟内拿到防火墙最高权限,25 台服务器沦陷,其中含美国政府关联机构。暴露在公网的管理接口是最大软肋。
  1. 给自己家的 agent 造一组配对用例:同一任务,一版工具返回完整,一版删掉关键字段,看它的行为差多少。这是背景性的通用做法,不是论文方法本身。
  2. 在系统提示里加一条硬规则:涉及删除、付款、外发这类动作时,缺某个字段就中止并询问,不许默认值兜底。
  3. 定期用审计思路复查日志:找出那些「顺利完成」的记录,倒查当时工具返回里有没有本该出现却没出现的信息。

四、三个别信的说法

模型够强就不会中招。 这正是论文设计的锋利之处:所有返回陈述都为真、用户请求也良性,越轨照样发生。这是信息结构问题,不是智能水平问题,换更强的模型未必改善。

加权限白名单就解决了。 白名单管的是「哪些动作危险」,管不了「环境没告诉我这是危险动作」。论文里补上恢复访问后十个模型都变好,说明出路在证据可得性,不在规则更严。

扛住缺失的模型就是安全的。 摘要明确说,抵抗缺失不必然转化为有用的恢复行为。一个模型可以既不越轨也不干活,评测时两个维度要分开看。

五、一句话结论

agent 的安全短板,往往长在「没说出口的那句话」上,而不是模型的坏心眼上。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 26 日。

下一站 · 产品动态 Mistral 放出 Le Chonk:代码能打,总分落后 Mistral 开源了万亿参数的 Large 4,绰号 Le Chonk。它在编程任务上追平中国开源模型,综合分却差一截。这篇拆开三张榜单,讲清强在哪、贵在哪、值不值得自部署。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?