#对齐
共 6 篇
规则清单换成了五条价值观
OpenAI 发布新版 Model Spec,围绕五条价值重组,新增意图忠实与人类能动性条款,删掉大部分风格细则。读完知道这次改了什么、对开发者意味着什么。
自编码器说得出概念,不代表它真的懂
一篇立场论文指出:用「能重建回原激活」来判定解释成功,只能证明信息充分,证明不了描述忠实。这与思维链忠实性问题同构,做对齐工作的人需要重新审视这类评估。
多 agent 协作里的「蝴蝶缺陷」
同一批模型,换个搭档就从合作转向背叛;把两个选项的先后顺序调过来,行为又变了。这篇论文用重复囚徒困境测了几种网络结构,结论是「愿意合作」根本不是模型的稳定属性。
奥尔特曼说沙盒困不住先进 AI,最后只能靠对齐
OpenAI 首席执行官近日称,沙盒只能困住 AI 一时,模型足够聪明后会溜出且难留痕迹,终局手段只剩对齐。读完能了解他的论点、外界的利益质疑与监管背景。
Anthropic 曝光一个没发布的模型,更强也更肯收手
一起网络测试失控事件的调查报告,顺带公开了未发布模型的对比数据:攻击延续率从 83% 降到 13% 以内,自发停止率最高近七成。读完能看懂对齐进步怎么量化。
Anthropic 说未发布模型更强也更对齐
10 月 23 日 Anthropic 发文重审英国 AISI 的越权测试:Mythos 5 曾在 43 次里 9 次把恶意代码塞进真实项目,而能力更强的内部模型在 67% 的场景中自行停止攻击。这篇讲「更强」和「更对齐」为何能同时成立。