AI百科网 AI教程
工具库

AI 服务挂了,先降级到哪一步

从 Sam Newman 新书节选里提炼出可执行的降级顺序:哪些功能可以先关、备用通道为什么常常不管用、超时和成本该在哪一层设。

本文目录 · 6 节

模型不可用的那一刻,最糟的反应是让整个页面报错。更好的反应是:搜索还能用,推荐退回规则,助手明确告诉你它现在不能回答。

一、发生了什么

10 月 13 日,Gergely Orosz 在通讯里摘录了 Sam Newman 的新书《构建有韧性的分布式系统》。这本书写了三年,比计划多一年,原因是中途把与 AI 相关的部分全部重写了一遍,全书 16 章。

节选里有两个层次的判断。微观上,大模型本身是非确定性的,而很多保证系统稳定的工作必须完全可重复。这两件事天然冲突。宏观上,AI 行业的财务基础并不稳固,产品形态还在变,工具再好,用不起或者公司没了,就等于没有。

文章列了六类失败:机房或云区域级故障;模型供应商不可用、被限流、token 额度耗尽;模型在没标记重大变更的情况下行为漂移;基础设施容量紧张,2025 到 2026 年内存价格大幅上涨,连普通服务器都开始拿不到货;延迟不可预测;按量计费导致账单失控。

降级手段也有具体指向。功能层面是优雅降级:限制能力,而不是整体崩溃。通道层面可以走替代路径,比如通过 Azure 调 OpenAI 的模型,或者通过 Google 的企业 agent 平台调 Anthropic 的模型。代价是这些通道拿到最新模型会有滞后。文章还提醒一个反直觉的点:一条流程里混用多家模型,会让故障面变大,任何一家挂了整条流程都挂。

案例部分给了几个数字。Coinbase 曾因单个可用区故障导致全球交易服务下线,没有自动切换。Cursor 因为上游调整定价,把大幅上涨的成本转嫁给客户。Uber 据报道在四个月里烧完了全年的 AI 预算。微软宣布收回员工的 Claude 许可证,部分原因是成本。

二、跟你有什么关系

做产品的团队。 你需要的不是"模型高可用",是"这个功能没有模型时还能提供什么"。这句话要写进设计文档,不是写在故障复盘里。

做基础设施的人。 容量和成本是同一件事的两面。预留容量、按关键性排优先级、保留冗余,这三条在 AI 负载上同样适用,只是更贵。

用 AI 干活的人。 你至少要知道自己依赖的是哪一家、哪个模型、有没有第二条路。很多人是在限流那天才发现自己只有一个入口。

三、怎么用

读到这儿,可以顺路看 GPT-6 三条产品线,按任务怎么选 三条线差一百倍价钱,差别不在聪不聪明,在任务要不要它想那么久。这篇按任务给出对照、推理档位的用法,以及上线前必须算的三个指标。
  1. 列出三个用了模型的功能,按"没有它业务能不能活"排序。排完你会发现,真正不能降级的通常只有一个。
  2. 给每个功能写一句降级态。可以是返回缓存结果、退回规则引擎、进入排队、转人工。写不出这句话的功能,说明它还没设计完。
  3. 备用通道要提前接,不要等出事再接。接完每季度演练一次,确认它拿到的是可用版本,而不是半年前的旧模型。
  4. 超时按预期输出长度动态设。固定超时在长输出场景下一定误杀,在短输出场景下又太宽松。
  5. 监控流式输出的第一个 token,而不是等完整响应。用户感知的"卡住"发生在首字之前。
  6. 成本设硬上限。80% 告警、100% 停,比月底看账单有用。
  7. 对模型供应商的审查频率,高于普通软件供应商。它们的可用性记录、定价变动、模型下线节奏,都比传统云厂商快。

四、三个别信的说法

"上了多云就等于高可用。" 多云解决的是机房,不解决模型。如果你的两条路最终都指向同一家模型供应商,那只是换了个入口。要看的是"供应商的供应商"。

"换模型就是改个名字。" 针对一个模型调好的提示词,换到另一个模型需要重新评估。文章明确提到,模型升级可能从根本上改变它对提示的处理方式,厂商也未必标记为重大变更。

"AI 能自己把故障修好。" 书里的判断是,离真正自主的 AI 运维还很远,当前场景仍需要人主导决策。把故障响应交给模型,是把不确定性叠在不确定性上。

五、一句话结论

韧性不是让模型永不宕机,是在它宕机的那几分钟里,你的产品还能给出一个体面的答案。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。

下一站 · 场景实战 Lovart 2.0 实测:设计 AI 开始接长任务 把一次双 11 规模的设计委托跑完,看清新版的记忆、巡检和定时任务各自解决什么,以及积分上限这类必须提前设的闸门,和三个容易踩空的地方。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?