AI百科网 AI教程
AI百科

在潜空间里想,用文字动手

一篇新论文让 agent 在连续向量里推理、在文字里调工具,用一层转换器来回切换。平均准确率提升 10.4%,token 少三成半到五成半,但"可检查"仍待验证。

本文目录 · 6 节

让 agent 想问题时,它其实有两种"语言"可选。

一种是我们看得见的文字,一步一步写出来,能调工具,也能被人检查,但费 token。另一种是模型内部的连续向量,算得快、写得少,可工具调不进去,人也读不懂。

10 月 13 日挂上 arXiv 的一篇论文,想同时要这两样。

一、发生了什么

论文标题是《混合推理 agent:在潜空间里想,用文字行动》,八位作者,全文 45 页,12 张图,代码放在 Together Computer 的公开仓库里。

它要解决的问题很具体:现代 agent 仍然用文字推理、用文字调工具;潜空间推理效率高,但没有原生的工具访问能力,也缺少推理透明度。两边各缺一半。

方法上做了三件事。

第一,加了一个轻量的转换层,让模型在同一次生成过程中,从文字模式切到潜空间模式,再切回来。论文把这叫"动态导航":不是先想完再动手,而是在一次生成里来回换档。

第二,用一段连续的工作记忆保存混合上下文。跨多轮对话时,文字部分和潜空间部分都不丢,避免每次切换都重新编码。这也解释了它为什么省 token:一次内部推理只需少量连续向量,不用把每个中间步骤都写成字。

第三,配了两阶段训练:先教主干模型学会和转换层配合,保证带工具的混合生成稳定;再用强化学习,让它自己学什么时候该在潜空间里想、什么时候该输出文字去调工具。

评测覆盖 3 个模型规模、11 个基准,包括数学、科学、医学、搜索和 agent 任务。论文给出的结果:相比纯文字的前沿 agent 和已有的潜空间方法,平均性能提升 10.4%;token 用量减少 35.5% 到 54.7%;推理速度提升 1.8 到 2.6 倍;成本降低 2.7 到 3.7 倍。

论文还强调,潜空间里的"想法"可以直接检查,这一点和黑箱式的内部计算不同。不过"能读出来"和"第三方能据此复核"之间还有距离,论文没有给出外部审计的流程。

二、跟你有什么关系

搭 agent 的。 这是一条不同于"更长的思维链"的路线:不是让模型多说,而是让它少说、在该说的时候说。

算推理成本的。 token 降一半,对高频 agent 是实打实的账。假设一个任务每天跑十万次,账单结构会变,不只是单价便宜。但要看降的是哪一段——是思考,还是工具调用的往返。

关心可解释性的。 "潜空间可检查"如果成立,审计方式会变:不再读思维链,而是读向量状态。工具和标准都还没有。

三、怎么判断这类论文值不值得跟

读到这儿,可以顺路看 agent 的长期决策「没品味」 微软和香港城市大学做了 Taste-Bench,专测 agent 在长任务中途选哪条路。14 个模型里最好的 59.7%,纯猜是 25%。
  1. 看对比基线是不是同规模、同数据。 混合方法和纯文字方法如果参数量不同,10.4% 就要打折看。
  2. 看关键子集有没有掉。 平均分涨了,但医学、搜索这类需要外部证据的任务是否也涨,决定它能不能上生产。
  3. 看"可检查"怎么定义。 能把向量解码成人类可读的句子,和能据此判断对错,是两件事。
  4. 等第三方复现。 代码公开是好事,但复现要看在自有数据上是否还成立。

四、三个别信的说法

"潜空间推理就是模型在心里默想。" 它需要专门的转换层和两阶段训练才成立。没有这些,模型只是在生成更少的文字,不是换了一种思考介质。

"token 省一半,成本就省一半。" 论文给的是 2.7 到 3.7 倍的成本节省,和 token 比例不是一个口径。成本还受硬件、批处理、调用次数影响。

"准确率 +10.4%,全面领先。" 这是 11 个基准的平均值。平均值会掩盖短板,尤其是需要多步工具调用的任务。

五、一句话结论

这套方法真正想解决的不是"让模型更聪明",是让它在该省的地方省、该留下痕迹的地方留下痕迹——而后者还没被证明。

信息来源

功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。

下一站 · 起步必读 把四小时敲代码换成写提示后,他的手腕不疼了 一位开发者自述九年重复性劳损如何在 2026 年明显缓解,关键不在治疗,而在击键结构的变化。文章拆出可复用的观察方法,也标出他本人保留的部分。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?