上模型之前，先拿经典基线量一遍

先问一个问题：你那个自动分类的准确率，是谁标注出来的？如果答案是"系统自己写的日志"，那它不是准确率，是自我确认。一篇 10 月 23 日的论文就从这句话开始，把"先量再训"的流程摊开写了出来。

一、发生了什么

论文（编号 2610.32955）的作者做了一个自托管的个人邮箱助手，日常在用，收件夹里意大利语和英文混着。他没有直接上模型，而是先做测量：分层抽样、冻结快照、按邮件线程分组切分、预先登记假设，再把人写的标签放回助手的人工复核环节，这样在训练之前就有了真值。

样本是 739 封真实邮件，其中 231 封无偏抽样，500 封刻意挑难的。在这批数据上，他横评了九套系统：生产规则、词频加逻辑回归、本地小模型、托管决策模型和几款开源生成式模型。

结果有四条。生产规则在"邮件类型"这一项只有 28%，而永远猜多数类就有 58%——也就是说，界面上展示得最显眼的那个字段，其实没带任何信息。用大约两百条标签，逻辑回归在每个字段上都拿到最高准确率：类型 0.79、紧急度 0.74、是否需要回复 0.83、是否噪音 0.90，但它从来不预测两个最稀有的类别；在类型这一项上，它和某款大模型统计上打平。发件人关系（客户、供应商、服务商）能从同一联系人的其他邮件里以 98.6% 的准确率恢复，但任何模型都无法从单封邮件推出来。最后一条最关键：把准确率拼成动作之后，最准的那套系统反而是最常忽略待办邮件的（18%，最好的大模型是 4%）。

二、跟你有什么关系

做内部工具的：你们的准确率如果来自系统日志，先假设它是假的。这篇的成本很低——两百条人工标签就能翻盘。

做模型选型的：生成式模型在这类结构化判断上，未必赢过一个两百行代码的基线。先证明它赢，再付推理费。

做产品的：最后一个数字是最该抄的。用户不关心分类准不准，关心的是"该回的那封有没有被我漏掉"。

三、怎么用

1. 先造真值，再谈模型。 冻结一份快照，按类别分层抽一批，再单独挑一批你认为最难的，两批都人工标。判定标准：如果你说不清标签是谁写的、什么时候写的，这一步没做完，后面的数字全部无效。
2. 跑两个基线，一个是蠢的，一个是经典的。 蠢的那个是"永远猜多数类"，用来定下限；经典的那个是词频加逻辑回归，两百条标签就够训。判定标准写死：如果逻辑回归和生成式在统计上打平，就别上生成式——省下的不只是钱，还有排查成本。
3. 换指标再决策一次。 把"分类准确率"换成"该处理的被漏掉的比例"，再按错误代价挑一个阈值。论文里的做法是给噪音概率设代价驱动的阈值，把漏处理率砍了一半，顺带成了成本最低的方案。

顺带一条结构性的结论：有些信息不该塞进提示词。发件人关系在单封邮件里根本不存在，它属于联系人图谱。你把上下文喂得再长，也补不出这条。

四、三个别信的说法

「数据量大就能训出来。」 这篇的规模是单用户几百封信，作者也明说这是单人案例。它的价值在流程可复制，不在数字可外推。你的场景要重跑一遍，别抄结论。

「生成式模型一定更强。」 在类型判断上它和逻辑回归打平，在稀有类别上逻辑回归直接放弃预测——两者错的地方不一样。选型要看你的错误代价落在哪一类。

「准确率高就是好产品。」 18% 对 4% 那一组数字已经把这句话否掉了。指标和动作之间还隔着一层组合逻辑，跳过这层做优化，等于优化了一个没人用的分数。

五、一句话结论

先花两天量清楚基线，能省掉两个月的模型工程；量不清楚，模型训得再好也不知道好在哪。

信息来源

• arXiv 论文页：先测量再训练的邮箱路由对比研究（2026-10-23）

功能与价格以官方公告为准。本文写于 2026 年 10 月 27 日。