共 3 篇
循环架构靠反复过同一块层换取小参数大算力，代价是延迟随层数线性涨。新方法用预测加修正把多轮计算并行起来，延迟降近一半。读完能判断这条路适不适合你的部署。
一个 6B 的稀疏模型靠「固定前缀层循环」做出五档推理预算，中间档只用一半的额外层执行就拿到大部分收益。读完你会知道省下来的到底是哪部分算力。
一篇 10 月论文研究循环架构推理时缓存线性膨胀的问题。读完能知道为什么重复过同一组层会吃显存、让各轮共享缓存难在哪，以及实测吞吐和首字延迟能改善多少。