扩散语言模型也能被黑盒攻击

安全团队评测一个大模型抗不抗得住诱导，常用自动化方法生成一批「危险提示」。但这里有个老问题：机器生成的测试提示往往不像人话，一道输入过滤就能拦下大半，测出来的风险自然偏低。10 月 22 日的一篇预印本把这套流程换了核心，让测试提示第一次说得像正常句子。

一、发生了什么

论文研究的是一类在低维高斯潜空间里采样或搜索的自动化测试方法。老做法是把这个空间里的向量解码成文字，靠一个随机映射加最近词查找。问题是这套映射不是从语言学出来的，产出的提示常常语法怪异、词序混乱，输入侧防线一眼就能识别，由此估出的风险也建在非自然提示上，参考价值打折扣。预印本的思路是把这个潜空间框架直接接到一个连续扩散语言模型上，让解码本身由一个学过语言分布的模型完成。作者做了两组实验：一组用采样方式估计风险，一组用搜索方式找薄弱点。效果体现在流畅度上：采样那组，提示的字符级困惑度从一百多降到 3 到 5；搜索那组，从二十多降到 4.3 到 5.4。更值得防守方注意的发现是：换用不同的解码路径，同一个模型给出的风险估计能差出一个数量级。也就是说，过去很多「我们测过了，风险不大」的结论，数字本身可能就不可比。

补一段背景帮助理解：困惑度是衡量一段文字有多「像自然语言」的常用尺子，很多输入防线正是靠它过滤机器生成的可疑文本。老方法产出的提示困惑度高得反常，等于自己举着「我是机器生成的」的牌子进场——这段是背景，不是论文结论。

二、跟你有什么关系

做大模型上线评审的人：安全评测报告里的风险数字，要问清测试提示是怎么生成的，不自然的提示会系统性低估风险。做输入防线的人：别只练「识别怪异乱码」这一功，更接近人话的诱导文本会绕过这类过滤，防线要按自然分布的输入重新校准。普通用户：这类研究属于攻防两侧都用的公开成果，含义是厂商的防线需要用更真实的测试去校验，用户侧要做的是别把模型输出当唯一事实来源。

三、怎么判断

1. 拿到一份安全评测报告，先看测试集是人工写的还是机器生成的，后者要追问生成方法。
2. 自己做红队演练时，混入一部分人写的自然提示做对照，看机器方法给出的风险排序是否一致。
3. 同一个模型在不同评测框架下的风险分数别直接比，这篇论文显示解码方式一换，数量级都可能变。

四、三个别信的说法

防线能拦乱码，模型就安全了。 老方法的弱点恰恰是提示太怪。当测试提示的困惑度降到接近正常文本，过滤规则认不认得出，是另一回事。

风险分数是个客观常数。 摘要明确写了两条解码路径下风险估计能差十倍。分数依赖测量方法，跨框架比较要小心。

这类研究公开了会让攻击更容易。 论文改善的是评测的真实度，先把「测不准」的问题摆上台面，防守方才知道自己过去漏看了什么。

五、一句话结论

用不像人话的提示去测模型安全，测出来的安心是假的；测试提示越自然，风险数字才越可信。

信息来源

• arXiv 预印本摘要页：基于困惑度的黑盒测试方法，2026-10-22 提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 26 日。