生产环境 agent 第一原则:让它无聊
Stack Overflow Blog 生产环境 LLM 系列开篇(作者观点):高风险场景里 agent 只提议、不行动,模型压缩到一个节点,其余全部换成可测试的普通代码。附六条可照做的设计建议。
让 AI agent 惊艳很容易,让它无聊很难——而在涉及资金、医疗这些场景里,无聊才是最高的赞美。Stack Overflow Blog 10 月初发布的生产环境 LLM 系列第一篇提出:高风险系统的关键不是更聪明的模型,而是把模型压进一个节点,让系统其余部分退回普通、可测试的代码。
一、发生了什么
这是系列作者观点文,主张用「确定性层」改造 agent。核心规则是:agent 只是纯函数,从上下文产出「提议」,无权改变世界;真正执行变更的是一个笨重但经过充分测试的基底,且只在人类审批后动手。这样做换来三个性质:可测试、越狱只能产生坏提议而非坏行动、可组合。具体做法有五条:每个能力对应一张固定节点图,12 个节点里只有决策那一个是非确定性的,其余全部共享;模型输出必须过结构校验,不符合就带错误重试、超限即失败关闭;置信度不采信模型自报,用独立信号合成,再按高低分四条路——自动执行、建议人工、必须人工、直接拒绝;每个决策写入只增不删的账本;如果一定要自由循环,给硬步数上限、工具白名单和全程留痕。文章列的反模式也直接:agent「就这一次」直接写业务状态、提示词里只说返回 JSON 却没有强制、把模型自己的信心当成置信度。
二、跟你有什么关系
正在做 agent 产品的团队:这套结构可以直接当架构评审清单用。受监管行业的工程师:与其解释模型为什么不确定,不如把不确定性关进一个节点。对 agent 安全好奇的读者:越狱防不住没关系,防住「越狱之后能干什么」。
落地时最常见的阻力来自内部:业务方会觉得「提议加审批」变慢了。应对办法是把账算给他们看——记录自动执行的提议占比、人工否决率和返工率,用数据说话,比争论理念有效。
三、怎么用
读到这儿,可以顺路看 harness 工程 101:LLM 是大脑,外壳是身体 一本 16 章的开源小书,把 agent 拆成「模型只做判断、外壳负责一切」的循环。适合想从第一性原理理解 agent 框架、而不是套框架的开发者入门。- 先给 agent 降权。把所有「直接执行」改成「提议加审批」,观察一个月,你会发现大多数提议根本不需要人管,再逐步放开。
- 数一数非确定性节点。理想状态是一个能力只有一个模型调用点;每多一个,测试成本翻倍。审计时别只看架构图,抽查最近三个月的真实决策记录:非确定性节点是不是真的只有一个、留痕是不是每条都有。
- 置信度阈值从紧起步。先全员走人工通道,用积累的数据证明安全,再一档一档下调阈值,顺序不能反。
四、三个别信的说法
「模型越强越不需要架构。」 模型解决判断,不解决可复现。审计员问「上月 3 日为什么拒绝了这笔交易」,再强的模型也答不出自己上月的输出。能回答这个问题的只有账本和节点图,它们都不会因为换了个更强的模型而自动出现。
「结构化输出等于正确输出。」 校验约束的是格式,不是对错。它是生产底线,不是质量保证。
「灵活的 ReAct 循环更先进。」 无界循环在生产里是故障放大器。真要用,加步数上限、白名单和全量留痕,缺一不可。
五、一句话结论
好 agent 不该让人惊叹,该让人睡着——因为它的每一步都有据可查。
信息来源
- Part 1: Make your AI agents boring: the determinism layer(Stack Overflow Blog,2026 年 10 月 7 日,作者观点)
功能与价格以官方公告为准。本文写于 2026 年 10 月 20 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。