词表嵌入压到 4 比特，性能只丢百分之一

聊模型显存，大家盯参数量、盯上下文长度，很少有人算嵌入层那本账。一篇 10 月 22 日挂出的论文算了，结果发现这本账比想象中大得多。

一、发生了什么

不少新近开放权重的语言模型都在用 n 元组嵌入表：把相邻两三个词元的组合也存成向量，处理文本时随时取用，以此提升效果。代价是存储。论文举的例子是 DeepSeek-V4.1-Flash，它的这类记忆表吃掉了 1960 亿个参数——不是一个，是接近千亿级。

两位研究者问了一个朴素的问题：这些表能不能省着存？他们的答案是降精度。论文系统地试了不同的量化方法和位宽分配，结论是：在从零训练的三类小模型（nanochat、Llama 系、GPT-2 系）上，用 4 比特存表能省下约 75% 的表内显存，同时保留加入这张表所带来的验证损失改善的 99% 以上。

位宽再压低，损失会变大，但补一轮短微调能找回相当一部分。更有意思的是省下的空间怎么花：把省出来的显存换成更大的表，效果可以超过原来全精度的配置，总占用反而更少。

大模型上同样成立。论文报告，在 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 上，低比特表省了 47% 到 55% 的表内显存，困惑度上升不到 1.2%，下游任务表现大体保留。

（背景补充，非论文结论：嵌入类结构在推理时占显存是业界老问题，量化是常用手段之一，这篇的贡献在于把「嵌入表该给多少比特」这件事系统量了一遍。顺带一提，n 元组表流行起来，是因为它把「常见搭配的统计规律」固化成查表操作，训练便宜、见效快，才会在新版开源模型里越做越大。）

二、跟你有什么关系

自己部署模型的人。 显存不够时，优先查一下模型有没有这类大表，压缩它们比砍上下文或换小模型更划算。

选型的人。 同样参数量的模型，内部结构不同，实际显存差很远。宣传页不写这个，要看技术报告。

做端侧的人。 手机和边缘设备上，「大表低比特存」可能是把大模型塞进去的一条现实路径，省下的预算还能匀给上下文缓存。

买显卡的人。 模型规格一样、显存占用差一截的情况会越来越多，装机前按实际占用规划，别按参数量估算。

三、怎么用

1. 部署前先拆账：看模型的显存分布，分清参数、嵌入表、KV 缓存各占多少，再决定压哪里。
2. 压嵌入表时从 4 比特起步，这是论文给出的性价比点，压得更低就要配套微调。
3. 升级版本前看官方有没有提供低比特权重，别自己从全精度压起，费时还容易踩坑。

四、三个别信的说法

「参数量决定显存。」 千亿级的表可能藏在参数总量里，只看总参数会严重低估实际占用。

「量化一定伤性能。」 论文显示 4 比特下改善保留了九成九，关键看压的是哪部分结构，一刀切地说「量化掉点」已经过时。

「省显存只能换上下文。」 省下来的空间换成更大的表反而涨效果，显存是资源，不是负担。

五、一句话结论

显存账要算到嵌入层，压对地方，省下的空间还能生钱。

信息来源

• arXiv 论文页：低比特 n 元组嵌入，2026-10-22

功能与价格以官方公告为准。本文写于 2026 年 10 月 25 日。