能过审计的 AI 系统，怎么升级到人

一条流水线跑了半年，指标全绿：精确率达标，召回率在容差内，评审队列按时清空。

直到有人回看操作日志，发现一位资深评审员在十四分钟里批了二十三条供应商记录。点开每一条的间隔、证据面板有没有展开、字段停留多久——他不是在复核，是在确认。

一、发生了什么

HackerNoon 上这篇文章讲的就是这类失败。作者把它归成三种：事后才升级、证据不对称、不可逆性蔓延。

对应的解法是四层结构，缺一层都不成立。

第一层是触发式路由。什么情况必须转人工，不能写在应用代码里，要写成带版本号的配置。每个触发器有编号、有阈值、有指向依据文档的链接。这样改规则有记录，审计能追。

第二层是完整状态持久化。模型打分那一刻看到了什么，就存什么：输入、特征、检索到的上下文、规则集版本、模型版本、环境指纹。作者给的比例是，一条升级记录的载荷通常是自动批准记录的十到五十倍。

第三层是实质性监督测量。不是统计"有多少条被人看过"，而是量评审员的行为：从打开到决定的耗时、展开过几个证据面板、操作顺序、有没有先独立判断再看模型建议、以及和模型建议的分歧率。作者提到，真正在行使判断的样本，分歧率大概在 20% 上下。

第四层是可逆性。人工批准不是终点，是条件提交。批准后进入一个带撤销窗口的队列，窗口内撤销会触发补偿动作，窗口外要升级到治理委员会。

监管口径也摆在那里。欧盟 AI 法案第 14 条要求人能够解读输出、决定不用、推翻或逆转输出，还能让系统停下来。英国审慎监管局的模型风险管理文件说得更狠：人工复核本身要被举证、被测量、被独立验证；如果评审员的接受率和自动批准配置分不出来，那就不算监督。

文中还有一个干预案例：某项目上线分歧追踪器，第一季度标出两名评审员，做法不是处罚，是换到低吞吐队列、给更清晰的触发上下文，八周内回到正常区间。

做风控和合规的人。 你现在的证据链大概只能证明"有人点过"，证明不了"人起了作用"。审计一问操作序列就露。

做产品的。 审批界面不是加个按钮。它决定评审员是决策者还是机器的编辑。界面上先显示模型结论，人就会顺着走。

"有审批按钮就是 human-in-the-loop。" 监管口径问的不是人是否存在，是人的判断是否真的改变了结果。如果接受率和自动批准配置在统计上分不出来，这个按钮只是仪式。

"升级越多越安全。" 升级泛滥会训练出橡皮图章。十四分钟二十三条就是结果：每一条都被"看过"，没有一条被真正判断。该做的是收窄触发条件，而不是扩大。

"可逆性可以最后补。" 作者确实把它排在最后，理由是工程强度最大、小规模部署时缺失最好辩护。但那说的是优先级，不是可以不做。人工批准一旦被下游当成机构承诺，回滚的成本会指数上升。

审计要的不是"有人签过字"，是"这个人的判断留下了能被复查的痕迹"。

功能与价格以官方公告为准。本文写于 2026 年 10 月 22 日。