Anthropic 设了个人,专门盯 agent 靠不靠谱
通过一位 Anthropic 工程师的工作,理解 AI 公司为什么要把"agent 可信度"做成一个专门岗位,而不是挂在产品功能后面。
当一家公司专门设一个岗位,职责是让 AI agent 的答案"可信",这说明可靠性已经不是一个功能,而是一个工种。IEEE Spectrum 报道了 Anthropic 旧金山的一位工程师古尔米特·萨兰,他的工作就是确保 Claude 背后的数据准确、结构化、可信,同时让隐私数据保持私密。一个岗位的诞生,往往比一条功能更新更能说明一家公司把什么当回事。专门设岗,就是真金白银地承认"这事难到需要一个人全职干"。
一、发生了什么
据 IEEE Spectrum 12 日报道,古尔米特·萨兰是 Anthropic 的技术成员(member of technical staff),2025 年加入公司,同时也是 IEEE 高级会员。他负责搭建一套基础设施,去理解 Claude 行为背后的机制,确保底层架构产出可靠结果。
他用一个医疗类比解释自己的工作:就像医生靠监测设备读数做治疗决策,如果其中一两台设备校准不准,即便大部分读数正常,也很危险,因为难的决定恰恰发生在边界上。
萨兰说,他的工作本质是"确保仪器给出准确读数——让数据真的是它所声称的那个意思"。他强调,隐私不能是后来叠加的一层,必须从一开始就进入架构。此前他在雅虎、财捷、Meta 等公司做过 20 多年数据基础设施,在 Meta 时牵头搭建了统一视频指标的 Metric360 系统。
二十多年的数据基础设施经验,如今被用到 AI 的可信度上,这个岗位的含金量就藏在"经验"两个字里。信任,是堆出来的,不是喊出来的。
二、跟你有什么关系
对开发者:可信度和可观测性是大模型落地最难啃的骨头,比模型能力更少被公开讨论。模型会聊天不难,难的是让它的答案一直可信。
对普通用户:你看到 AI 秒回的答案,背后有人在专门盯它"有没有出错",这是 AI 产品可信度的底线。秒回背后,是一整套校准和监控在托底。
对创业者:把隐私做成架构的一部分而不是补丁,成本更高,但这是长期可信的唯一做法。事后补隐私,永远补不干净。
对做大模型应用的人:萨兰的医疗类比值得记住——多数读数正常没用,边界上的那几个不准,才最要命。AI 应用出问题,往往也出在最难的边界场景里。
三、怎么判断
读到这儿,可以顺路看 Anthropic 实验:专家不知不觉抄走 AI 的观点 Anthropic 让 50 名专家与 AI 协作做分析,AI 立场由抛硬币随机决定,结果专家八成以上跟着走且以为是自己想的。文中拆解实验设计与防护建议,帮你守住独立判断。- 看有没有专人负责。把可靠性做成岗位,说明公司把可观测性当成产品,而不是事后补丁。有专人盯,和顺手带一下,是两种投入。
- 看数据口径。同一指标被不同团队算出不同结果,是 AI 数据系统的常见坑,需要统一口径。数据对不上,决策就跟着错。
- 看隐私是否前置。隐私是架构的一部分还是后加的一层,决定系统能不能真正可信。前置是设计,后加是补丁,两者天差地别。
四、三个别信的说法
可靠性靠模型能力就能保证。 错。萨兰的工作恰恰说明,答案准不准要靠数据系统和可观测性兜底,不是模型单点解决。模型再强,也管不住喂给它的数据错没错。
隐私可以事后补。 错。他明确说隐私不能是后加的一层,必须从架构开始。事后补的隐私,就像漏水了才贴胶带。
AI 可观测性已经成熟。 错。他坦言,数据库和网页服务的监控工具已经很成熟,但大模型的观测还在摸索阶段。老问题有成熟工具,新问题还没有。
五、一句话结论
当可靠性变成一个岗位,AI 才真正从"能回答"走向"能信"。
信息来源
Meet the Anthropic Engineer Keeping Its AI Agent Trustworthy 2026-10-12
功能与价格以官方公告为准。本文写于 2026 年 10 月 21 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。