#KV 缓存

循环架构的显存账，有人靠共享缓存来平

一篇 10 月论文研究循环架构推理时缓存线性膨胀的问题。读完能知道为什么重复过同一组层会吃显存、让各轮共享缓存难在哪，以及实测吞吐和首字延迟能改善多少。