数据堆再多，也顶不上一条已知规律

「数据足够多，模型足够大，领域知识就不重要了」——这句话在工程圈流传很广。一篇新论文用数学把它按住：有已知规律的问题上，样本学出来的模型永远带着一块擦不掉的不确定。

一、发生了什么

arXiv 10 月 27 日发表的这篇论文（两位作者，主投机器学习方向）定义了一类「结构编码问题」：输入输出的对应关系由某个已知结构决定或严格约束——可能是一个求解器、一个对称群、一张图、一条物理定律、一套文法，或一个优化目标。对这类问题，论文说真正的难点不在表达能力（足够大的网络原则上装得下那个映射），而在三件事：有限数据下能否唯一确定、能否外推、能否给出可验证的保证。他们提出「结构鸿沟」这个概念：拿到已知结构的方法和只拿样本的方法之间，隔着一条有限资源的沟。核心结论是渐近式的：随着覆盖面扩大，不利用结构的学习可以逼近结构化方法，但任何有限数据集都会留下残余的不确定性，而结构本身在构造上就把这层不确定性消掉了。论文在高斯反演问题上给了严格证明：知道算子的经典维纳解法达到贝叶斯最优风险，而同一线性类里的稠密经验学习器带着持续存在的超额风险。另有两个理论结果——单元覆盖的下界、未见轨道的不可辨识——以及已知算子反演、稀疏恢复、图可达性尺寸外推三组受控实验把机制摆到台面上。

二、跟你有什么关系

做领域模型的。 医疗、金融、工程这些行当里满是已知结构。论文的建议是别拿数据硬啃：能写进求解器或约束的规律，就在学习开始前把假设空间框住，让模型只学结构没规定的那部分。

做科学计算的。 外推是数据方法的死穴，这论文给出了一个可证明的下界视角。评估「模型能不能外推到没见过的规模」时，先看任务里有没有可用的对称或守恒结构。

写论文的。 把「表达力」和「有限样本下的可辨识性」分开论证，这个框架对很多实证工作的归因都有帮助。

三、怎么用

1. 给手头任务分类：它的输入输出映射背后有没有已知规律？有就先把结构做成约束或先验，剩下的交给学习。
2. 评估模型报告时多问一句：这组成绩是插值还是外推？论文说明结构缺失的代价主要在外推段暴露。
3. 预算有限时先买结构：一条写清楚的法律条文、一个物理公式，抵得上大量标注样本，尤其在需要证书级保证的场景。

四、三个别信的说法

「规模定律会碾过一切先验」。 论文的证明恰恰划出规模管不到的地方：有限样本下的残余风险，不是再训一轮就能消失的。

「结构知识过时了，端到端才是未来」。 端到端赢的是没有明确结构的感知类任务；在有求解器、有物理定律的地方硬上端到端，是在用样本的昂贵换本可免费的确定性。

「这理论离工程太远」。 三组受控实验加可复现代码，直接对应反演、恢复、图推断三类工程里常见的任务形态，不是纯思辨。

五、一句话结论

数据能逼近规律，但替代不了规律——白纸黑字的已知结构，就该写进模型的骨架里。

信息来源

• arXiv：结构鸿沟——更多数据无法替代结构化推理，2026 年 10 月 27 日

功能与价格以官方公告为准。本文写于 2026 年 10 月 28 日。