AI 服务挂了,先降级到哪一步
从 Sam Newman 新书节选里提炼出可执行的降级顺序:哪些功能可以先关、备用通道为什么常常不管用、超时和成本该在哪一层设。
模型不可用的那一刻,最糟的反应是让整个页面报错。更好的反应是:搜索还能用,推荐退回规则,助手明确告诉你它现在不能回答。
一、发生了什么
10 月 13 日,Gergely Orosz 在通讯里摘录了 Sam Newman 的新书《构建有韧性的分布式系统》。这本书写了三年,比计划多一年,原因是中途把与 AI 相关的部分全部重写了一遍,全书 16 章。
节选里有两个层次的判断。微观上,大模型本身是非确定性的,而很多保证系统稳定的工作必须完全可重复。这两件事天然冲突。宏观上,AI 行业的财务基础并不稳固,产品形态还在变,工具再好,用不起或者公司没了,就等于没有。
文章列了六类失败:机房或云区域级故障;模型供应商不可用、被限流、token 额度耗尽;模型在没标记重大变更的情况下行为漂移;基础设施容量紧张,2025 到 2026 年内存价格大幅上涨,连普通服务器都开始拿不到货;延迟不可预测;按量计费导致账单失控。
降级手段也有具体指向。功能层面是优雅降级:限制能力,而不是整体崩溃。通道层面可以走替代路径,比如通过 Azure 调 OpenAI 的模型,或者通过 Google 的企业 agent 平台调 Anthropic 的模型。代价是这些通道拿到最新模型会有滞后。文章还提醒一个反直觉的点:一条流程里混用多家模型,会让故障面变大,任何一家挂了整条流程都挂。
案例部分给了几个数字。Coinbase 曾因单个可用区故障导致全球交易服务下线,没有自动切换。Cursor 因为上游调整定价,把大幅上涨的成本转嫁给客户。Uber 据报道在四个月里烧完了全年的 AI 预算。微软宣布收回员工的 Claude 许可证,部分原因是成本。
二、跟你有什么关系
做产品的团队。 你需要的不是"模型高可用",是"这个功能没有模型时还能提供什么"。这句话要写进设计文档,不是写在故障复盘里。
做基础设施的人。 容量和成本是同一件事的两面。预留容量、按关键性排优先级、保留冗余,这三条在 AI 负载上同样适用,只是更贵。
用 AI 干活的人。 你至少要知道自己依赖的是哪一家、哪个模型、有没有第二条路。很多人是在限流那天才发现自己只有一个入口。
三、怎么用
读到这儿,可以顺路看 GPT-6 三条产品线,按任务怎么选 三条线差一百倍价钱,差别不在聪不聪明,在任务要不要它想那么久。这篇按任务给出对照、推理档位的用法,以及上线前必须算的三个指标。- 列出三个用了模型的功能,按"没有它业务能不能活"排序。排完你会发现,真正不能降级的通常只有一个。
- 给每个功能写一句降级态。可以是返回缓存结果、退回规则引擎、进入排队、转人工。写不出这句话的功能,说明它还没设计完。
- 备用通道要提前接,不要等出事再接。接完每季度演练一次,确认它拿到的是可用版本,而不是半年前的旧模型。
- 超时按预期输出长度动态设。固定超时在长输出场景下一定误杀,在短输出场景下又太宽松。
- 监控流式输出的第一个 token,而不是等完整响应。用户感知的"卡住"发生在首字之前。
- 成本设硬上限。80% 告警、100% 停,比月底看账单有用。
- 对模型供应商的审查频率,高于普通软件供应商。它们的可用性记录、定价变动、模型下线节奏,都比传统云厂商快。
四、三个别信的说法
"上了多云就等于高可用。" 多云解决的是机房,不解决模型。如果你的两条路最终都指向同一家模型供应商,那只是换了个入口。要看的是"供应商的供应商"。
"换模型就是改个名字。" 针对一个模型调好的提示词,换到另一个模型需要重新评估。文章明确提到,模型升级可能从根本上改变它对提示的处理方式,厂商也未必标记为重大变更。
"AI 能自己把故障修好。" 书里的判断是,离真正自主的 AI 运维还很远,当前场景仍需要人主导决策。把故障响应交给模型,是把不确定性叠在不确定性上。
五、一句话结论
韧性不是让模型永不宕机,是在它宕机的那几分钟里,你的产品还能给出一个体面的答案。
信息来源
功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。