工单分类该在什么时候交回给人

自动分类一张报修工单，分错了的代价比转人工还贵——这个朴素的账，很多上智能客服的团队没算过。算过之后你会发现，最合理的方案是让机器学会说「我不知道」。

一、发生了什么

据 arXiv 10 月 22 日提交的一篇论文（已被 ICTAI 2026 接收），研究者把「成本」直接放进 LLM 工单分类的决策里，方法叫成本感知弃答：先在校准数据上，按「分对不花钱、转人工计 1 单位、分错计 5 单位」这样的明确成本选一个置信度阈值，再把定好的策略冻结，在留出测试集上只评一次。实验用的是一个公开的、四万七千多条、八个类别的工单语料，对比了四个传统机器学习分类器和四个大模型在零样本、少样本提示下的表现。结果反直觉：一个老派的词袋加逻辑回归基线，配上 0.60 的阈值，就把测试成本降了 38.1%，错误路由率从 15.3% 掉到 3.5%；冻结后的策略在 16 组成本参数里有 14 组同时优于「全部自动」和「全部转人工」。而大模型在提示词场景下表现平平：最好的配置在千条子集上准确率只有 0.477，不如微调过的小模型（0.879）；有的模型重校准后置信度几乎不变，判别力指标停在 0.5 附近，等于抛硬币。按成本倒推的盈亏平衡点是 0.80，此时多数提示配置干脆全部弃答，只有一个少样本配置还敢自动路由千条里的 19 条。作者自己也划定边界：这是一套评估框架，不是新算法，更不是普适的部署认证。

二、跟你有什么关系

如果你在运维客服或 ITSM 系统：先算清你家的三个成本数，再决定自动化比例，别拍脑袋上全自动。如果你是算法负责人：这篇给的框架是离线定策略、一次评估，比在线试错便宜得多，而且基线对比做得完整，可以直接抄实验设计。如果你是产品经理：向老板汇报时，「错误路由成本」是比准确率更有说服力的指标，一张成本对比表胜过十页准确率截图。

三、怎么用

1. 给分错、分对、转人工各定一个金额，哪怕粗略，也比没有强。三个数定了，一切策略选择都有了尺子。
2. 在历史工单上跑一版模型，扫阈值曲线，找成本最低的置信度切点。别直接用 0.5，那是默认值不是最优值。
3. 策略上线后冻结，用新数据回看一次，别天天调，调太勤就退化成了在线试错。
4. 记录弃答率和错误率随时间的变化。弃答率突然升高，往往是数据分布变了，比错误率先报警。

四、三个别信的说法

用大模型一定比小模型强。 论文里微调过的两亿参数级小模型准确率接近九成，远超各种少样本提示的大模型。任务窄、数据够时，小模型又便宜又稳。

置信度高就代表答案可靠。 实验显示有的模型重校准后只有一个置信值，区分对错的能力接近抛硬币。校准要先验证，再谈用置信度做门槛。

弃答是模型不行。 论文证明在成本敏感场景下，主动弃答反而是最优策略。承认不会并转人工，正是系统设计成熟的表现。

五、一句话结论

自动化比例不该由模型能力决定，而该由「分错的账单」决定。

信息来源

• arXiv：LLM 工单分类的成本感知弃答 · 2026-10-22

功能与价格以官方公告为准。本文写于 2026 年 10 月 25 日。