24GB 显卡跑 125B：本地的天花板在哪

一张 24GB 的显卡，跑 1250 亿参数的模型。这个说法如果来自营销页，可以直接跳过。它来自研究量化的 CMU 教授 Tim Dettmers，语境是开源周的一次集中发布。

一、发生了什么

9 月 21 日，Dettmers 公布了 dlab 开源周的成果。他给出的三档硬件对照很具体：Qwen 3.8 Flash Next 是 125B 参数，能放进单张 24GB 显卡；DeepSeek V4.1 是 550B，需要 AMD Strix Halo、英伟达 DGX Spark，或者 128GB 内存的 MacBook；Qwen 3.6 35B-A3B 量化后在 Mac 上跑到每秒 450 个 token。

支撑这些数字的是量化精度：每个权重 1.5 bit。作为对比，半精度是 16 bit，也就是同样的模型，内存占用大约降到十分之一。Dettmers 的描述是"速度像本地进程，不像远程服务"，并且不需要手动管理上下文长度。

另一个被他重点讲的东西叫 CliffCompaction，一种自动压缩机制。他给出的数字是整体成本降低约 50%，某合作伙伴内部部署后 AI 总预算减少 45%。会话可以跑几百万 token，他自己的部分会话超过一亿 token。他还提到在 KernelBench 上达到当时最好水平。

发布内容是两个开源项目和四篇论文。这部分他写得很实在：原本计划一天发完，因为草稿没写完推迟了一天。

整篇文章的立意也值得说明。Dettmers 的出发点是学术界：只有几块 GPU 的小实验室，能不能做前沿研究。他的判断是能，而且未来十年最有意思的工作会发生在资源有限的地方，正因为资源有限，才会被迫把效率做到极致。所以那些"单卡跑大模型"的数字，本质上是效率研究的副产品，不是消费级产品的宣传。

二、跟你有什么关系

只有一张 24GB 显卡的人，包括小实验室。 125B 这一档是能跑，但"能跑"的定语很多：量化档、上下文长度、并发数。先想清楚你是要跑一个对话，还是要跑一个能读整个仓库的 agent。文章真正想说的也是这件事：不必等采购到八卡机器再开始，先用手上的卡把问题跑通，很多题目在单卡上就能出结果。

有 128GB 统一内存机器的人。 550B 那一档才进入现实范围。这也是过去一年本地部署讨论里最实际的分水岭：不是显卡型号，是内存总量。

带团队的人。 比换模型更值钱的可能是压缩。成本降一半，等于预算翻倍，而且不用改业务流程。

三、怎么判断

1. 先看每个权重的比特数，不要只看参数量。125B 在 1.5 bit 下和 8 bit 下，是两种东西。
2. 把"能跑"拆成三项：内存装得下、速度跟得上、质量守得住。三项里最容易骗人的是第二项，因为厂商通常只给生成速度，不给长上下文下的 prefill。
3. 用自己的任务做对照。Dettmers 自己做的生物信息学实验，两小时产出四项结果，但他明确写了没达到整体问题的最优水平。这个自我限定比结果本身更有信息量。
4. 把压缩当成第一杠杆，再考虑换模型。上下文一长，重复计算的比例会迅速上升。
5. 先算并发。一个人用和五个人共用一个本地服务，是完全不同的两件事。单卡跑得动，不代表排队的人等得起。

四、三个别信的说法

"1.5 bit 是无损压缩。" 他没有这么说。原文只说内存占用约为原来的十分之一，以及输出质量高。量化对推理、代码、长文的影响不一致，必须拿自己的样本测。

"24GB 能跑 125B，就能替代云端。" 装得下和扛得住是两回事。单卡跑长上下文时，prefill 时间和并发能力会先撞墙。

"AI 已经能独立做研究。" 那次实验是在限定题目、限定评估、离线环境下做的。作者自己说，使用 agent 头几周的兴奋几乎全部站不住，多轮采样的测试时扩展目前也不适合日常工程工作。它是一个能干活的研究助手，不是一个能交论文的研究者。

五、一句话结论

本地部署真正的门槛不是参数量，是"每权重几个比特、上下文多长、质量掉多少"这三个数能不能同时接受。三个数里有一个不对，参数再大也只是演示。

信息来源

• dlab Open Source Week: Frontier AI on Your Own Hardware，2026 年 9 月 21 日

功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。