AI百科网 AI教程
AI百科

Anthropic 设了个人,专门盯 agent 靠不靠谱

通过一位 Anthropic 工程师的工作,理解 AI 公司为什么要把"agent 可信度"做成一个专门岗位,而不是挂在产品功能后面。

本文目录 · 6 节

当一家公司专门设一个岗位,职责是让 AI agent 的答案"可信",这说明可靠性已经不是一个功能,而是一个工种。IEEE Spectrum 报道了 Anthropic 旧金山的一位工程师古尔米特·萨兰,他的工作就是确保 Claude 背后的数据准确、结构化、可信,同时让隐私数据保持私密。一个岗位的诞生,往往比一条功能更新更能说明一家公司把什么当回事。专门设岗,就是真金白银地承认"这事难到需要一个人全职干"。

一、发生了什么

据 IEEE Spectrum 12 日报道,古尔米特·萨兰是 Anthropic 的技术成员(member of technical staff),2025 年加入公司,同时也是 IEEE 高级会员。他负责搭建一套基础设施,去理解 Claude 行为背后的机制,确保底层架构产出可靠结果。

他用一个医疗类比解释自己的工作:就像医生靠监测设备读数做治疗决策,如果其中一两台设备校准不准,即便大部分读数正常,也很危险,因为难的决定恰恰发生在边界上。

萨兰说,他的工作本质是"确保仪器给出准确读数——让数据真的是它所声称的那个意思"。他强调,隐私不能是后来叠加的一层,必须从一开始就进入架构。此前他在雅虎、财捷、Meta 等公司做过 20 多年数据基础设施,在 Meta 时牵头搭建了统一视频指标的 Metric360 系统。

二十多年的数据基础设施经验,如今被用到 AI 的可信度上,这个岗位的含金量就藏在"经验"两个字里。信任,是堆出来的,不是喊出来的。

二、跟你有什么关系

对开发者:可信度和可观测性是大模型落地最难啃的骨头,比模型能力更少被公开讨论。模型会聊天不难,难的是让它的答案一直可信。

对普通用户:你看到 AI 秒回的答案,背后有人在专门盯它"有没有出错",这是 AI 产品可信度的底线。秒回背后,是一整套校准和监控在托底。

对创业者:把隐私做成架构的一部分而不是补丁,成本更高,但这是长期可信的唯一做法。事后补隐私,永远补不干净。

对做大模型应用的人:萨兰的医疗类比值得记住——多数读数正常没用,边界上的那几个不准,才最要命。AI 应用出问题,往往也出在最难的边界场景里。

三、怎么判断

读到这儿,可以顺路看 Anthropic 实验:专家不知不觉抄走 AI 的观点 Anthropic 让 50 名专家与 AI 协作做分析,AI 立场由抛硬币随机决定,结果专家八成以上跟着走且以为是自己想的。文中拆解实验设计与防护建议,帮你守住独立判断。
  1. 看有没有专人负责。把可靠性做成岗位,说明公司把可观测性当成产品,而不是事后补丁。有专人盯,和顺手带一下,是两种投入。
  2. 看数据口径。同一指标被不同团队算出不同结果,是 AI 数据系统的常见坑,需要统一口径。数据对不上,决策就跟着错。
  3. 看隐私是否前置。隐私是架构的一部分还是后加的一层,决定系统能不能真正可信。前置是设计,后加是补丁,两者天差地别。

四、三个别信的说法

可靠性靠模型能力就能保证。 错。萨兰的工作恰恰说明,答案准不准要靠数据系统和可观测性兜底,不是模型单点解决。模型再强,也管不住喂给它的数据错没错。

隐私可以事后补。 错。他明确说隐私不能是后加的一层,必须从架构开始。事后补的隐私,就像漏水了才贴胶带。

AI 可观测性已经成熟。 错。他坦言,数据库和网页服务的监控工具已经很成熟,但大模型的观测还在摸索阶段。老问题有成熟工具,新问题还没有。

五、一句话结论

当可靠性变成一个岗位,AI 才真正从"能回答"走向"能信"。

信息来源

Meet the Anthropic Engineer Keeping Its AI Agent Trustworthy 2026-10-12

功能与价格以官方公告为准。本文写于 2026 年 10 月 21 日。

下一站 · 工具库 Claude 企业版补上投入产出这块屏 三个 9 月还在 beta 的追踪功能正式开放:谁在用什么任务、钱花在哪、员工怎么评价。这篇讲清它们各自能答什么、答不了什么,以及续费谈判时该怎么用。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?