AI百科网 AI教程
AI百科

一个冻结模型,能走出几条不同的推理路

想让模型给出多种解法,调温度往往只是换措辞。一篇新论文在不改权重、不加提示角色的情况下,靠专家路由的掩码让冻结模型产出真正不同的方法,多样性最高翻倍,代价几乎为零。

本文目录 · 6 节

让模型「再想一个别的办法」,它多半会给你换个说法重复原路。一篇新论文证明:多样性可以藏在一个冻结模型的内部路由里,挖出来就行。

一、发生了什么

arXiv 10 月 27 日发表的这篇论文(扩展版已被 NeurIPS 2026 一个资源感知智能体工作坊接收)问了一个很工程的问题:能不能从一个冻结的稀疏混合专家模型里,靠模型自身的条件能力产生解法多样性——不用用户指定角色、不规定方法、不微调、也不复制多份模型。他们提出的方法叫「智能体条件路由」:给几条并行轨迹各自配一副固定的、未经训练的共享/私有专家资格掩码,同时保留原本那个按输入内容动态选专家的 token 路由。评测设计得比较较真:从一道多模式数学物理题库里筛出 126 题,让模型裁判读完整段推导后数「软正确解法里出现了几种真正不同的主要方法」。结果:同一输出预算下,在一个国产 MoE 模型上,路由法拿到双解法的题目数约为最强温度采样的两倍(37.3 对 18.7);在另一个闭源模型上是 1.67 倍(45.00 对 27.00)。30 题的盲审也确认了多方法数量更多,但正确率略低。额外开销很小:掩码状态约 160 KiB,延迟和显存占用与温度采样相差不到 3%。

二、跟你有什么关系

做推理系统的。 一份推理预算想换多种解法,以前只能靠温度或多模型投票,现在多了一条几乎不增加成本的掩码路线,160 KiB 的状态量对服务部署毫无压力。

做数学、代码这类答案验证工具的。 多样且正确的方法是验证器最好的测试集来源;论文也诚实指出正确率略降,采样后仍需筛选,别当成免费午餐。

研究 MoE 机制的。 这篇给了一个漂亮证据:训练好的路由里本身就编码了方法的多样性,「资格掩码」只是把它锁住启用。

三、怎么用

读到这儿,可以顺路看 怎么盯住比你强的模型?给它装一个倒带键 读完能理解弱审核者如何核验强 AI 的计算结果:新提出的可倒带交互证明允许验证器把模型回退到任意状态重来,效率高、不依赖密码学,关心 AI 安全机制的人值得一看。
  1. 先测你的场景该要多样还是该要正确:掩码路线多方法更多、正确率略降;论文里重采样掩码的变体正确率更高,按需求选。
  2. 引导式提问仍是多样性上限最高的办法——把上一轮解法和「请换一种方法」喂回去,效果盖过纯路由。两者叠加才是完整方案。
  3. 验证多样性时别只数答案,让裁判读完整推导过程,否则换措辞的伪多样会被算成新方法。

四、三个别信的说法

「调高温温度就有多样性」。 论文的数据直接否了:同等预算下,温度采样的方法多样性只有掩码路由的一半到六成,多为换皮不换路。

「要多样性就得微调或多模型」。 这是背景,不是论文结论——多模型集成确实成本高,而这篇的意义恰恰在于证明冻结单模型内部就有可挖的条件多样性,零训练零复制。

「多样性免费」。 盲审里多方法伴随正确率下降,多样性是拿一点准确率换的,预算方案里要写清楚这笔交换。

五、一句话结论

模型不是只会一条路,是路由懒得换道——给每条轨迹一把固定的专家钥匙,方法多样性就出来了。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 28 日。

下一站 · 具身智能 机器人学拧螺丝,为什么要拆成两步教 读完能理解机器人自主拧螺丝为何难:接触密集、发力精细、环境多变。新研究把任务拆成两段三模块,在真机上做到对齐成功率接近熟练工人,做具身操作的人可参考其分步思路。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?