99% 神经元可读？先看清是哪个模型

十年前，一张神经元可视化图让整个领域相信：AI 的内部是一团乱麻。图上那个编号 4e:55 的神经元，看到猫脸会亮，看到汽车车头也会亮。

今年，画这张图的人之一站出来说，当年看错了。错不在网络，在观测工具。

一、发生了什么

据雷峰网报道，Nick Cammarata 发布了一篇需要读 65 分钟的长文，题为《Neural Networks Are Already Clean》。他是 OpenAI 早期做机制可解释性的科学家，也是 2020 年那篇把「叠加假说」推向主流的论文《Zoom In》的共同作者，合著者包括 Chris Olah。

他的新结论有三层。

第一层是翻案。4e:55 那个神经元既不认猫也不认车，它检测的是 V 字几何形状：狐狸的尖脸、喷射的火焰、汽车的尖头都会激活它的正极，圆形物体激活负极。当年之所以看成「猫和车」，是因为特征可视化算法在合成最强激活图时「抄近路」，把 ImageNet 里猫狗的高频特征混了进来。

第二层是比例。2023 年他在 OpenAI 做第一个大规模自动化神经元解释项目时，现有工具只能解释约 2% 的神经元。三年后，用改进的算法加智能体工具重做，在现代视觉模型的最后一层，99% 到 100% 的神经元都能找到比较清晰的解释。以「深层混乱」著称的 InceptionV1，重新观测后可解释率也大幅上升。

第三层是机制。他提出「递归泛化」：神经元像树枝一样生长，从一个概念沿着特征轴延伸出去。比如一个原本只对「iy」发音敏感的神经元，先扩展到「diy」，最后连不含这个音的「Do it yourself」也能激活。看起来混乱，是因为只看到了末端。

他还做了个压力测试：把 InceptionV1 某层负责曲线检测的 480 个神经元压到 10 个，压缩 48 倍后从零训练。按叠加假说，空间不够时网络会把无关特征硬塞进去；实际结果是这 10 个神经元个个可解释，只是每个管得更宽。

质疑很快来了。Google DeepMind 机制可解释性团队负责人 Neel Nanda 公开表示，文章有趣，但对可解释性没有实质性突破。他指出，双方说的「叠加」不是一回事：Cammarata 推翻的是「任意叠加」，即毫无关系的特征被塞进同一个神经元；而语言模型依赖的是「表征叠加」，用少数神经元的线性组合表达海量概念。

Nanda 还提了三点：弱激活里存着大量事实和记忆，不能当作可忽略的枝节；论文最扎实的证据来自视觉模型，视觉和语言的信息密度差几个量级；SAE 在残差流上仍不可替代。

Cammarata 回应时承认，这只是一个「工作假设」。他列出未解的问题：只覆盖视觉和语言单模态模型，多模态融合层没碰；语言模型缺少训练检查点，无法观察神经元逐步泛化的过程；结论高度依赖扰动实验，纯自然状态下的因果验证仍是开放问题。

二、跟你有什么关系

如果你做模型安全：这篇值得读，但不能当成「对齐变简单了」的证据。它说明视觉模型的原生电路比想象中可读，没说语言模型也一样。

如果你做应用：短期内别指望「调一个神经元就改变模型行为」。这类操作在视觉模型上有演示，在通用大模型上还没有稳定方法。

如果你只是关心 AI 黑箱：这次争论是个好样本——两派用同一个词，指的不是一回事。

三、怎么判断这类「可解释性突破」

1. 先问是哪个模型、哪一层。视觉模型最后一层，和语言模型中间层，是两个难度完全不同的对象。99% 这个数字有明确的适用范围。

1. 问「可解释」怎么定义。是人能看懂特征图，还是能预测干预后的行为？前者是描述，后者才是控制。两者差别很大。

1. 看有没有消融和对照。把一个神经元关掉，行为是否按预期改变？这是因果证据，比漂亮的激活图更有说服力。

1. 看是否覆盖训练过程。只观察最终模型，容易把结果当成原因。能追踪检查点的研究，才说得清「递归泛化」是怎么长出来的。

1. 等独立复现。作者的代码和交互页面公开后，其他实验室能否在同类模型上复现同样的比例，是最硬的检验。

四、三个别信的说法

「AI 不再是黑箱了。」 这篇的证据几乎全部来自视觉模型，语言模型只做了初步观察，多模态完全没覆盖。而且作者自己说，这是工作假设。把视觉模型的结论推广到通用大模型，跳过的是最难的一段。

「SAE 被证伪了。」 作者否认。他的实验只说明：在极度压缩的层上，SAE 拆不出干净的原生特征；在正常未压缩的层，SAE 与原生神经元的形状匹配度高达 0.96 到 1.00。工具没被推翻，是适用范围被重新划了。

「一个神经元对应一个概念。」 新解释反而更微妙：神经元不是只认一个东西，而是沿着若干特征轴泛化。它可读，但不简单。把「可读」理解成「一个词就能概括」，会再次误读。

五、一句话结论

可解释性可能比想象中容易，但目前只在看得见的图像上被证明了。

信息来源

• 雷峰网：《推翻一切！Nick Cammarata 万字长文宣告，AI 不是黑箱，99% 神经元清晰可见》，2026 年 10 月：原文

功能与价格以官方公告为准。本文写于 2026 年 10 月 18 日。