#知识获取

预训练到底学会了什么，这次被逐段切开看了

研究者用按年份快照训练的模型给知识打了个「时间波动分」，发现网上少见的知识反而学得越练越好，训练末期反超常见知识。对评测选型和数据配比是直接提醒。