AI百科网 AI教程

#推理加速

共 2 篇

同一块层反复用,能不能不等上一轮

循环架构靠反复过同一块层换取小参数大算力,代价是延迟随层数线性涨。新方法用预测加修正把多轮计算并行起来,延迟降近一半。读完能判断这条路适不适合你的部署。

AI百科 · 2026年10月29日

扩散语言模型提速,先学会「该出手」

一篇新论文教扩散语言模型挑「先揭晓哪个词」:把好词先亮出来帮其他位置定案,数学题上最高提速十倍。读完能理解这套加速思路和它的适用边界。

AI百科 · 2026年10月29日
同一层主题 全部标签 →