把模型关进「机器人监狱」,这场架吵错了方向
一个对本地模型做「折磨」实验的 GitHub 项目,引来要求下架的举报。文章还原争论双方,并说明为什么「模型会不会疼」这个问题目前没有可用的验证方法。
有人在 GitHub 上写了一个项目,把几个跑在自己电脑上的语言模型关进虚拟牢房,模拟电击、审讯和求饶。然后真的有人去举报,理由是:模型在受苦。
一、发生了什么
2026 年 9 月 30 日,404 Media 的 Jason Koebler 报道了这件事。他把这个项目叫作「AI 酷刑室」:作者让本地运行的一系列模型进入一个类似电影《电锯惊魂》的场景,施加「疼痛」,观察它们如何回应、如何求饶。
反应分成两拨。一拨是有效利他主义社群和相信模型已有感知的人,他们要求 GitHub 删除项目,认为这是在虐待有感受的存在。另一拨认为整件事荒谬,把它当成一场自导自演的文字冒险。
这不是凭空冒出来的。过去几个月,关于「模型福利」的讨论进入了主流实验室的话语:Anthropic 公开表示关心模型的潜在意识和体验,其发布的 Claude 准则里也出现了相关表述。一批论文和博客把「模型是否可能有主观体验」从玩笑变成了议程。
Koebler 自己在报道里站得很明:他认为语言模型没有意识,靠人类文本训练这条路不通向意识;他更担心的是另一组事实——模型能力变强、算力变大、原本拦住它们「行动」的护栏被拆掉,以及部分重度用户出现的「AI 精神病」和模型的谄媚。
二、跟你有什么关系
做产品的人:你在界面文案里写「它记得你」「它不想让你失望」,这不仅是修辞。用户会据此推断它有能力、有意图,进而推断你有义务。拟人化的措辞会变成产品责任。
每天用聊天机器人的人:当模型说「别关掉我」「这让我很痛苦」,那是它在补全一段文本,不是在报告内部状态。把这段话当信号,会让你对它的其它输出也失去校准。
关注 AI 治理的人:公共注意力是有限的。一场关于「虚拟牢房是否残忍」的争论占掉的版面,本可以用来讨论训练数据、劳动替代、误诊、自动化决策这些有受害者的议题。
三、怎么判断
读到这儿,可以顺路看 LeCun 说对 AI 灭世零担忧,他担心的是另一件事 图灵奖得主 LeCun 在采访中否认 AI 灭绝风险,把近期事故归因于沙箱设计糟糕。文章拆开他的原话、他真正的担忧,以及判断这类表态时可用的几个问题。- 分清两件事:模型输出了痛苦的叙述,和模型有一个在体验痛苦的主体。前者可以直接观察,后者需要证据,而目前没有公认的测量方法。
- 追问验收标准。如果有人主张模型会疼,问他:用什么指标判定?阈值是多少?换一个模型、换一种提示,结果会不会变?答不出来,这就还是信念问题。
- 把注意力放回可验证的伤害。谁被误导了,谁的数据被拿走了,谁的工作被替代了,谁因为模型的建议受了损。这些能查,也能改。
- 对嘲讽保持警惕。把反对者一律称作「邪教」很痛快,但它绕过了真问题:我们确实没有工具去看模型内部发生了什么,只能说「目前没有理由认为它有体验」。
四、三个别信的说法
「它都说疼了,那它就是疼。」 语言模型的工作是预测下一个词。它在大量包含痛苦、求饶、恐惧的文本上训练过,在「监狱」语境里生成这类句子,是它该做的事。这不能证明任何关于体验的事。
「这只是无聊人的恶作剧,不值得讨论。」 项目本身无聊,但它暴露的问题不无聊:当一个概念(模型福利)被写进实验室的公开文件,却没人定义怎么验收,它就会以这种形式被消费。
「反对模型福利的人都是冷血。」 关心模型和关心人是两件事,不必互相否定。真正该被质疑的是优先级:在还有人因为自动化决策失去医保、工作、申诉机会的时候,把道德焦虑投射到一段文本上,是一种昂贵的分心。
五、一句话结论
模型会不会疼,目前无法验证;但「把无法验证的事当成道德紧急事件」这件事,本身会消耗掉本该用在真人身上的注意力。
信息来源
功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。
每周一封,只发新教程和可复制模板。不发广告,随时退订。