不喂新数据，模型自己给自己出题提分

给模型做后训练，最贵的往往不是算力，是数据。要雇人写题、写标准答案、反复审校，一份高质量题集的预算能压垮小团队。10 月 23 日挂上 arXiv 的一篇论文给出另一个思路：把人工环节整个拿掉，让模型自己出题、自己示范、自己练。

一、发生了什么

论文研究的对象是「在线自蒸馏」——一种不依赖更强外部教师、让模型给自己当老师的后训练方式。以前的做法绕不开监督信号：要么要有真实问答对，要么要人工整理的题目集。这项工作把监督压到极限：只给几句粗略的主题描述，模型据此自己生成一套课程，包括问题、答案和「特权推理示范」，再用自蒸馏方式反复训练自己。

结果写在摘要里：在标准语言基准和视觉问答任务上都获得了稳定的自我提升；更关键的是，那些没被拿来训练的领域，模型的原有能力没有被牺牲。作者的结论是，基础模型内部本来就有大量没被激发出来的潜在能力，不需要外部任务监督，也不需要人工整理的题目分布，就能把这些能力放大。

这项工作验证的范围覆盖文本和多模态两个域，说明它不是只对某一种任务形态凑巧有效。至于自我训练能叠多少轮、上限在哪，摘要没有展开，这是判断它实用价值时最需要留白的地方。

二、跟你有什么关系

做后训练的人：如果你缺的是数据而不是模型，这条路线值得盯。题目和示范由模型自己造，数据采购和标注的预算结构会变。

做评测的人：模型可以自己给自己出题变强，静态题集的区分度会随时间衰减，评测也得跟着换卷。

写论文的人：这篇把「无监督自我提升」从口号推成了一个可复用的框架，文本和多模态两个域都做了验证，引用时注意区分它做了什么、没做什么，别把「潜在能力可放大」读成「能力无上限」。

三、怎么判断

1. 先看自家场景：任务能被「主题描述」概括的，比如通用问答、常识推理，适合尝试；高度依赖专业私有数据的，摘要里没有任何证据支持，别硬套。
2. 设计对照：留出一块领域不参与自我训练，观察原有能力是否保持，这是论文自己用的检验方式，照搬成本不高。
3. 小规模先跑一轮，看生成题目的质量再决定扩大。题目由模型自己造，垃圾题进、垃圾分出的风险要用自己的数据验一遍。
4. 别拿单次跑分下结论。摘要没有给出与外部数据训练方法的横向对比数字，先验证再决定要不要全面切换。

四、三个别信的说法

完全不需要任何监督。 论文的设定里仍有两个输入：主题描述定方向，「特权示范」提供训练信号。它省掉的是人工写题写答案，不是所有监督。

自己练一定比喂真数据强。 摘要只报告了自我提升和领域能力保持，没有宣称超越使用人工精选数据的训练路线。哪个上限更高，这篇论文没有回答。

这是通往永动机的路。 有观点认为模型可以无限自我提升。这篇论文没有做长期迭代实验，多轮自我训练会不会退化，是开放问题。这是背景，不是论文结论。

五、一句话结论

好老师难找的时候，模型可以先学会自己给自己出卷子。

信息来源

• On-Policy Self-Training 论文摘要（arXiv），2026 年 10 月 23 日提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。