共 3 篇
字节团队论文发现，分块 KV 缓存压缩让模型对内容位置产生周期性盲区：换个空格数量，同一道题的正确率天差地别。读完能理解这类错误为何发生、怎么避开。
同一批模型，换个服务骨架，成本和延迟能差一倍。这篇拆开推理服务里最容易被漏掉的三个约束，并给出一套可以照着走的排查顺序。
一段 8 秒的生成视频，用户看到的是 4MB，后端留下 500MB。这篇算清推理留下的存储账，并给出三个能在下个预算周期前自查的问题。