英伟达 74B 模型压进 24GB 显卡，2 位量化的账

740 亿参数的模型，按理说显存要一百多 GB 才放得下。英伟达说，24GB 的显卡就够了。关键是那句没大声说出来的话：它是靠 2 位量化硬压出来的。压缩能省显存，但省出来的每一 GB，都是拿精度换的，这笔账得算清楚。

一、发生了什么

10 月 15 日，英伟达发布 Nemotron 3.5 Bolt，一个 74B 总参数、9B 激活参数的混合专家模型，目标是一张 24GB 显存的显卡就能跑。它不是从零训练，而是用 Star Elastic 算法把母模型 Super VL（120B 参数）压缩而来，每个 token 选的专家数从 22 降到 9。省显存主要靠混合精度：占大头的专家权重用 IQ2_XXS（每个权重约 2.06 位），Mamba 层用 4 位浮点，嵌入和输出头保持 8 位，再用量化感知蒸馏找回质量。GGUF 文件约 22GB，另配 1.73GB 的视觉投影器，能读图和视频。官方称在 RTX Spark 上跑到约 84 token/秒。这套做法说白了，就是「关键地方多给精度、占体积的专家层狠压」，像给行李做极限压缩，值钱的留全，占地方的抽真空。看这类模型，第一眼别盯它参数多大，先问两件事：一是它为了塞进 24GB 砍掉了什么，二是那些自报的跑分有没有第三方复现。两个问题都有答案，再决定要不要下场试。

二、跟你有什么关系

对有 24GB 英伟达显卡的人：多了一个能本地跑 agent 的开源选项，商业用途许可也放开了。手头有 4090、3090 这类卡的人，可以拿来跑跑看，但先别期待它和云端旗舰一个水平。

对 Mac 用户：先别折腾，目前 llama.cpp 在 Mac 上会崩溃，Ollama 也不支持苹果芯片，社区移植才在 48GB 以上机器跑通。想用 Mac 跑，还得等适配，短期别浪费时间。

对预算有限的人：10 月 23 日还会出一个 4GB 的 E4B 版本，机器小的可以等这个。小显存的机器别硬上大模型，等小版本更现实。

对关注量化技术的人：这套「混合精度加蒸馏」的路子，是当前把大模型塞进消费级显卡的主流打法，值得看它怎么分精度，别的项目也在学。

三、怎么判断

1. 分清「能装下」和「跑得顺」：长上下文和图片输入最吃显存，先从小上下文试起，别一上来就开满。装得下只是第一步，跑起来不爆显存才是真能用。
2. 看跑分出处：Terminal-Bench、GPQA 等数字是英伟达自报，别当成第三方评测，落差要留余量。厂商自测通常偏乐观，心里先打个折。
3. Mac 用户直接跳过，等 Metal 支持，或选母模型 Super VL，但那个要 96GB 以上内存，成本更高。两条路都还不成熟，等适配比硬来强。

四、三个别信的说法

2 位量化不损失质量。 错。英伟达用蒸馏尽量找回，但激进量化必然有代价，官方自己都说它是「够用」而非最强。能把精度压到 2 位，就一定在什么地方还了债。

24GB 想跑多长跑多长。 错。长上下文和图像输入会把它顶爆，内存要留余量，官方目标也是按小批量算的。开满上下文，那 24GB 根本不够用。

Mac 也能用。 错。当前社区移植才在 48GB 以上机器跑通，官方没做苹果芯片适配，别指望开箱即用。Mac 现在跑它会崩，这是现状，不是传闻。

五、一句话结论

把 74B 塞进 24GB 靠的是「关键层保留精度、专家层狠压」，这套账能算清，但体验要自己实测。

信息来源

Nemotron 3.5 Bolt on Mac: Metal Crash, What Runs, Super VL（LLMCheck，2026-10） NVIDIA 究竟在一个 24GB 文件里放了什么（OrcaRouter，2026-10）

功能与价格以官方公告为准。本文写于 2026 年 10 月 21 日。