共 2 篇
决策模型只输出固定标签加概率,成本远低于生成式大模型。论文在五种幻觉类型的近万条样本上实测:一致性、事实类基本够用,逻辑类还差几个点,级联组合后可用一成左右的成本逼近大模型裁判。
一项覆盖二十七种语言、上百万条打分的测试发现:提示策略对「模型当裁判」的影响换一个裁判模型就会反转,小语种下更不稳,而汇总平均分会把这些波动全部藏住。本文告诉你怎么搭建不踩坑的评测。