预训练到底学会了什么，这次被逐段切开看了

一个反直觉的观察：模型对网上冷门知识的掌握，到训练后期反而超过了那些烂大街的常识。这不是玄学，是一篇新论文用「时间切片」方法量出来的结果。

一、发生了什么

arXiv 10 月 27 日发表的这篇论文（已被 AACL 2026 接收）问了一个老问题：预训练过程中，不同种类的知识是怎么被学会的。方法上它借了一个新工具：近年出现了一批按不同年份的网络快照分别训练的模型，相当于给语料库拍了连续剧照。研究者在这些「时间点模型」上定义了一个时间波动分数——同一个知识点在各年模型里的负对数似然，算它的变异系数。分数高，说明这个知识在不同年份的网络文本里出现得不稳定、覆盖断断续续。这个分数的巧妙之处在于它测的不是「难不难」，而是「这知识在网上出现得稳不稳」。随后他们用多个开源模型家族里的六个模型，在六个覆盖不同主题的基准上做验证。结果分两段：训练早期，高波动和低波动知识的学习曲线差不多；到了后期，高波动知识涨得更快——整个预训练跑完时，36 组「模型乘基准」的组合里有 34 组呈现高波动知识更强，平均优势折合 7.3 个点的归一化准确率，而且在知识密集型任务上这个模式最稳固，即便把难度相近的条目放在一起比也一样。

二、跟你有什么关系

做领域大模型的。 如果你的语料是逐年累积的，那些只在特定时期密集出现、平时少见的领域知识，别担心它学不进去——数据说它后期涨得最猛，值得留足训练量。

设计评测的。 总分掩盖学习动态。这篇论文展示了按「知识出现模式」切条目后能看到的差异，你的评测集也该按来源稳定性分层，别只报一个平均分。

管数据配比的。 冷门但重要的知识在预训练里的命运和直觉相反，这直接影响你要不要为长尾领域单独加采样权重。

三、怎么用

1. 给自己的领域知识清单标注「出现模式」：常年常见、周期性出现、仅某时段密集，三类分开管理。
2. 复用这套打分思路：拿几个不同数据版本训出的 checkpoint，算同一条知识在各自输出里的波动，波动大的就是训练里还没坐稳的部分。
3. 训练后期别急着早停。低分知识前期看起来没进展，真正的分化在后期，提前停可能正好停在反超之前。

四、三个别信的说法

「冷门知识模型学不会」。 论文结论恰恰相反：高波动的知识最终学得更好。所谓学不会，多数是训练量或采样没给够。

「困难的知识才需要更多数据」。 论文特意对比了难度相近的条目，波动性带来的差异仍然成立——决定学习曲线的不只是难度，还有知识在网络文本里的时间分布。

「总基准分提升就代表均衡进步」。 这是背景，不是论文结论——评测领域的老共识是聚合分数掩盖结构性差异，这篇论文给这个共识添了一个预训练视角的新证据：同一条学习曲线里，不同知识走的是完全不同的路。

对每天盯着 benchmark 榜单的人来说，这提醒了一件事：榜单涨幅里有多少来自冷门知识补课、多少来自通用能力，拆开看才知道水有多深。

五、一句话结论

预训练像个偏科生：越是网上冷门的知识，越在最后阶段发力反超。

信息来源

• arXiv：用时间点模型追踪预训练中的知识获取，2026 年 10 月 27 日

功能与价格以官方公告为准。本文写于 2026 年 10 月 28 日。