让 agent 去查一份语料库，能查出什么

预训练语料里混进垃圾数据，通常是模型上线挨骂之后才被发现。10 月 22 日挂上 arXiv 的一篇论文换个思路：先派一个 agent 进语料库「查账」。

一、发生了什么

背景先说一句：FineWeb2 这类多语言数据流水线，是用同一套清洗配方处理上千种语言，省事，但每种语言特有的毛病没人盯。这不难理解：训练数据清洗规则通常按英文语料的经验设计，小语种的造假模式、排版习惯、重复模式都不同，同一把尺子量不出所有布料。这是公开常识，不是论文结论。

论文出自几位斯洛伐克研究者，流程分三步。第一步，让一个能调用工具的 agent 通过只读、限预算的接口探查语料，角色定位是「调试语料的人」，不是逐篇分类器。第二步，把每条发现固化成可执行的测试。第三步，请母语者复核。

在斯洛伐克语部分约 2650 万篇文档上，agent 跑了三次，单次成本 2.21 到 2.84 美元，报出四类现象、共七条发现。最大的一条：一个机器生成的内容农场，约 140 万篇文档混过了清洗环节，占整份语料的 5.32%，其中 86.6% 连更严的阈值都挡不住。盲测标注支持七条中的六条，这些切片的缺陷率在 0.53 到 1.00 之间，随机抽样的对照组只有 0.08；剩下一条未获支持。

产出还能复用：固化下来的测试套件不需要 GPU，0.7 秒扫完全库。对照一下，用大模型逐篇分类过一遍语料，一次要花 1.2 万到 9 万美元。论文已被 EMNLP 2026 的 WaC 研讨会接收。

二、跟你有什么关系

做数据集的团队：审计可以让 agent 打前站，人只做最后一道验证，成本降几个量级。全量 LLM 分类是按篇数烧钱，agent 探索加测试复用是按发现数付钱，两笔账差得远。

用开源数据训练模型的人：别人放出来的语料不代表干净，5.32% 的机器内容就是这样混进去的，而且是在一个被认为清洗得不错的知名语料家族里。

关心模型质量的人：很多「模型胡说八道」，源头可能在训练数据里没人查过的角落。小语种尤甚，因为审核的人少，造假的成本反而更低。

三、怎么用

1. 给 agent 只读权限和预算上限，让它探索性抽查，别一上来就全量分类，既贵又盲。
2. 发现写成可执行测试，能反复跑，再由人抽验确认，人和机器各管一段。
3. 把测试挂进数据发布流程，每次语料更新都跑一遍，审计变成常态而不是一次性的动作。

四、三个别信的说法

过滤器够严就不用审计。 那个内容农场里 86.6% 的文档连更严的阈值都通过了，规则式过滤对规模化造假基本无效。

agent 一定比传统抽样强。 论文自己写了：最好的静态抽样基线，花不到一半的钱验证了更多筛选条件。agent 的价值在于给出精确占比、解释漏检原因、留下可复用的测试，不是便宜。

查出来删掉就完事。 造假内容会换皮重来，没有常驻的测试套件，下一批照样混进去。

五、一句话结论

语料审计别靠人眼，让 agent 先查账，人只签字。

信息来源

• 斯洛伐克语语料库的 agent 审计论文（arXiv 摘要页） 2026-10-22 提交

功能与价格以官方公告为准。本文写于 2026 年 10 月 25 日。