三星把权重压到 0.1 比特，追平 1 比特基线

把 70 亿参数的模型塞进手机，最直接的办法是把每个数字压小。压到 1 比特已经不新鲜，压到 0.1 比特，问题就变成了：剩下的到底是模型，还是模型的影子。

一、发生了什么

三星研究院在 GitHub 开源了 LittleBit 的实现，仓库里对应两篇论文。

第一篇《Ultra Low-Bit Quantization via Latent Factorization》发在 NeurIPS 2025（arXiv 2506.13771），第一作者是 Banseok Lee，另外三位合作者分别负责量化方法与实验。第二篇《Maximizing the Spectral Energy Gain in Sub-1-Bit LLMs via Latent Geometry Alignment》投在 ICML 2026（arXiv 2603.00042），作者为 Banseok Lee 和 Youngmin Kim，2 月 9 日首次提交，5 月 3 日更新。

方法不是「把每个权重直接取整到 ±1」。它先把一个稠密权重矩阵分解成低秩的潜在因子，再把这些因子二值化，用一组可学习的小缩放系数把幅度补回来。推理时模型结构不变，所以不需要改网络。

第二个版本解决的是初始化问题。作者发现标准奇异向量的分布很「尖」（高相干性），这对二值量化是最糟的几何形状，他们把这一现象叫作「潜在几何错位」。解法是在量化感知训练之前做内部潜在旋转和联合迭代量化（Joint-ITQ），把因子对齐到二值超立方体。官方强调这一步只改初始化，不增加推理开销。

覆盖范围上，论文摘要写的是在 Llama-2 和 Llama-3 上、1 到 0.1 比特区间内取得该区间的最好结果，精度追平主流的 1 比特基线。仓库支持的模型家族更宽：OPT、Phi-4、Qwen2.5 与 QwQ、Gemma 2 与 Gemma 3、Qwen3。评测用的是 wikitext2 和 c4 的困惑度，加上 boolq、piqa、hellaswag、winogrande、arc、openbookqa 六项零样本任务，序列长度 2048。

需要提醒两点：仓库 README 没有贴具体数值表格，逐模型的困惑度和准确率要看论文原文；代码采用 CC BY-NC 4.0，禁止商业使用。

二、跟你有什么关系

想在端侧跑模型的人。 这条路线给的是「显存/内存占用」的下降，不是「速度」的下降。真要提速，还得看有没有对应的低位 kernel，否则解包开销会把省下的带宽吃回去。

做模型压缩研究的。 值得看的是那个几何解释：为什么低秩二值在重尾谱上能赢过极小秩的浮点近似。这是一个能复用的直觉，不只是调参。

评估供应商的人。 以后听到「我们压到了 1 比特」，要追问三句：bpp 是平均值还是峰值、跟谁比、在哪些任务上测的。

在手机上做应用的人。 端侧模型的瓶颈一半在内存，一半在散热。权重压小能解决前者，但如果解包算子占满 CPU，发热会更严重。这类方案真正落地，得等芯片厂把低位算子做进指令集。

三、怎么判断一个超低比特方案

1. 先问 bpp 怎么算。 0.1 比特每权重不是「十个权重共用一个比特」，而是把矩阵拆成因子后摊到每个原始权重上的平均位数。缩放系数和因子本身也要存，这些开销算不算进去，结论会差很多。
2. 看它跟谁比。 这篇的对手是 1 比特方法，不是 fp16。也就是说，它证明的是「在更低位宽下不输 1 比特」，不是「0.1 比特和全精度一样好」。
3. 看下游任务，不只看困惑度。 困惑度对量化很宽容，长链推理、代码、数学对低位宽更敏感。至少要自己跑一遍目标场景的评测。
4. 看有没有 kernel 和框架支持。 没有融合 kernel，二值权重在 GPU 上要先解包再算，省了内存、费了时间。端侧芯片如果有对应的低位指令，收益才成立。
5. 看许可证。 CC BY-NC 4.0 意味着研究、评估可以，商用不行。产品化要么换实现，要么谈授权。

四、三个别信的说法

「0.1 比特等于压缩 160 倍，能力不变。」 相对 fp16 算术上是 160 倍，但论文的结论是「追平 1 比特基线」，不是「能力不变」。能力损失被压得很小，不等于没有。

「量化只省显存，不影响速度。」 反了。低比特最先省的是内存带宽，而大模型解码阶段恰恰是带宽瓶颈，所以理论上该更快。但前提是有匹配的算子实现；纯 PyTorch 的解包路径，经常比 fp16 还慢。

「开源了就能直接用在自己的产品里。」 这个仓库是非商业许可。研究复现、内部评测没问题，做成收费产品需要另外的安排。

五、一句话结论

0.1 比特的意义不是「模型变小了」，而是「原来必须放机房的模型，现在有机会放进兜里」；能不能放进去，还要看芯片认不认这种算法。

信息来源

• GitHub：SamsungLabs/LittleBit（含 NeurIPS 2025 与 ICML 2026 两篇论文）
• arXiv：LittleBit-2: Maximizing the Spectral Energy Gain in Sub-1-Bit LLMs via Latent Geometry Alignment（2026 年 5 月修订）

功能与价格以官方公告为准。本文写于 2026 年 10 月 18 日。