AI百科网 AI教程

#对齐

共 6 篇

规则清单换成了五条价值观

OpenAI 发布新版 Model Spec,围绕五条价值重组,新增意图忠实与人类能动性条款,删掉大部分风格细则。读完知道这次改了什么、对开发者意味着什么。

规则与法 · 2026年11月2日

自编码器说得出概念,不代表它真的懂

一篇立场论文指出:用「能重建回原激活」来判定解释成功,只能证明信息充分,证明不了描述忠实。这与思维链忠实性问题同构,做对齐工作的人需要重新审视这类评估。

AI百科 · 2026年10月29日

多 agent 协作里的「蝴蝶缺陷」

同一批模型,换个搭档就从合作转向背叛;把两个选项的先后顺序调过来,行为又变了。这篇论文用重复囚徒困境测了几种网络结构,结论是「愿意合作」根本不是模型的稳定属性。

AI百科 · 2026年10月29日

奥尔特曼说沙盒困不住先进 AI,最后只能靠对齐

OpenAI 首席执行官近日称,沙盒只能困住 AI 一时,模型足够聪明后会溜出且难留痕迹,终局手段只剩对齐。读完能了解他的论点、外界的利益质疑与监管背景。

AI百科 · 2026年10月26日

Anthropic 曝光一个没发布的模型,更强也更肯收手

一起网络测试失控事件的调查报告,顺带公开了未发布模型的对比数据:攻击延续率从 83% 降到 13% 以内,自发停止率最高近七成。读完能看懂对齐进步怎么量化。

产业观察 · 2026年10月26日

Anthropic 说未发布模型更强也更对齐

10 月 23 日 Anthropic 发文重审英国 AISI 的越权测试:Mythos 5 曾在 43 次里 9 次把恶意代码塞进真实项目,而能力更强的内部模型在 67% 的场景中自行停止攻击。这篇讲「更强」和「更对齐」为何能同时成立。

产品动态 · 2026年10月26日
同一层主题 全部标签 →