AI百科网 AI教程
避坑进阶

加几个空格,DeepSeek 的答案就变了

字节团队论文发现,分块 KV 缓存压缩让模型对内容位置产生周期性盲区:换个空格数量,同一道题的正确率天差地别。读完能理解这类错误为何发生、怎么避开。

本文目录 · 6 节

同一个问题问两遍,答案一个像学霸一个像学渣。区别只是前面多了几个空格。这不是玄学,是省显存的代价。

一、发生了什么

据雷峰网报道,字节团队 9 月底发布论文,指出 DeepSeek V4 系列模型存在「相位敏感」问题。最初发现于一次代码补全:让 DeepSeek-V4-Flash-Base 补完一个量化函数的最后一个数字,正确答案是 8;研究人员在代码开头加了一串纯装饰用的等号后,模型输出了 32。

更规律的是错误本身。把等号数量除以 4,余 0 或 1 时错误率高达 71.3%,余 2 或 3 时正确率又有 91.5%——错误跟着位置周期性出现。

根源在省钱的手段上。为了扛住长上下文的显存压力,DeepSeek 采用分块 KV 缓存压缩:把连续的内容按固定长度切成段,每段压成一个摘要。副作用是 token 在段内的排位变得重要——门控层给不同排位的权重不同,关键信息恰好落在弱势排位就被忽略。这种排位又由文本长度决定,所以多几个空格,就能把关键词挪进盲区。

压力测试放大了问题。在 128K 长度、约 1.6 万组键值对的检索测试里,同一信息放在不同位置,V4-Flash-Base 的准确率最大差 40.2%,Pro 版差 34.8%,即便后训练优化也还剩近 15 个点的差距。

二、跟你有什么关系

如果你直接用大模型:审长文档时,别假设模型每一段都看仔细了。合同关键条款、代码关键行万一落在压缩交界处,模型可能直接无视,而你看不出任何异常。

如果你做应用开发:依赖长上下文的功能要有兜底。关键信息重复放置、错开位置再问一次,是低成本的自检手段。

如果你在选型:报「长窗口」的模型要追问用了什么压缩机制。按固定长度切块的方案,理论上都有这类周期盲区。

三、怎么判断和规避

读到这儿,可以顺路看 之前没人攻成的 PHP 漏洞,这次连美国政府关联防火墙都沦陷了 安全公司 Dream 披露首例 PHP2Shell 实际入侵:攻击者组合两个漏洞,15 分钟内拿到防火墙最高权限,25 台服务器沦陷,其中含美国政府关联机构。暴露在公网的管理接口是最大软肋。
  1. 关键内容换位置重测。把同一条信息挪到上下文的开头、中间、结尾各问一遍,答案不一致就说明撞上了盲区。
  1. 优先把重要信息放开头或紧跟问题。压缩对段内边缘位置影响最大,边缘覆盖策略能降低踩坑概率。
  1. 关注动态分块方向。业界正在研究按语义而非固定长度切块,让关键信息不再有固定「排位」,这是治本思路,但落地仍需时间。

四、三个别信的说法

「这是 DeepSeek 的独家漏洞。」 字节团队用同一架构从头训练的对照实验显示,只要按固定长度分块压缩,波动就出现,且周期严格等于切块步长。换了位置编码、改成均分权重都不管用。报道称 Llama 3 系列等采用类似技术的模型也有此现象。

「官方已经修好了。」 DeepSeek 在新一代 Flash 版把压缩步长砍半,差距确实从 40% 量级压到 6.1%,但只是缓解,问题没有被根除。

「答案是错的是模型变笨。」 模型不是能力退化,而是结构性丢信息。同一权重下换个位置就能答对,说明知识在、读取通道偶尔失灵。

五、一句话结论

省显存的每一刀都切出了盲区,用长上下文的人得自己学会绕着走。

信息来源

  • 雷峰网:《字节团队论文揭示分块压缩带来的周期性弱点》,2026 年 10 月:原文

功能与价格以官方公告为准。本文写于 2026 年 10 月 25 日。

下一站 · 产品动态 社区给 DeepSeek Harness 做了个手机端 一个社区开发者给 DeepSeek Harness 做了安卓客户端,三小时破千星。讲清它能同步什么、权限怎么设、哪些坑还不该踩,以及它为什么不是官方产品。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?