本地部署大模型：值不值，什么人需要
结论：绝大多数人不需要。三类人需要：数据不能出内网、要长期免费、要自己改。附一份硬件与模型的匹配表。
"在自己电脑上跑 AI，不用联网，不要钱"——听起来很香。
但现实是：你能在本地跑起来的模型，能力比不上你免费就能用的云端模型。 除非你有特定理由，否则这件事不划算。
一、先看结论
| 你的情况 | 建议 |
|---|---|
| 只是想用 AI 写东西、做表格 | 不需要。用云端免费版 |
| 数据涉密，不能出内网 | 需要，这是最硬的理由 |
| 要长期跑大批量任务，想省调用费 | 可能划算，算一下总成本 |
| 想研究、想微调、想改模型 | 需要 |
| 只是觉得"本地更酷" | 不需要 |
二、硬件门槛
大致参考（能跑起来 ≠ 跑得好）：
| 显存/内存 | 能跑什么 | 体验 |
|---|---|---|
| 8GB 显存 | 7B 级别的量化模型 | 能用，但明显不如云端 |
| 16GB 显存 | 14B 级别 | 日常问答可以 |
| 24GB 显存 | 32B 级别（量化） | 写作、总结够用 |
| 64GB 以上统一内存 | 更大模型 | 接近可用 |
内存不够时的替代：用 CPU + 量化模型能跑，但速度慢到让人放弃（每秒几个字）。
所以真实成本是：一台带独显的机器，或者一台高内存的 Mac。
三、和云端的三个现实差距
- 能力差距：同价位硬件能跑的模型，通常比云端主力模型弱一档以上，尤其在推理和代码上。
- 速度差距：本地生成速度受硬件限制，长文输出可能等几分钟。
- 维护成本：模型更新、显存配置、量化版本选择，都要你自己折腾。
四、真正需要本地的三类人
1. 数据不能出内网
医院、律所、财务、涉密单位。这类场景没得选，本地是唯一解。
2. 要长期跑大批量任务
比如每天处理几千份文档。云端按 token 计费，长期算下来本地更省。但要算清楚：硬件折旧 + 电费 + 你的维护时间。
3. 要改模型、要做研究
微调、量化、蒸馏，这些只能在本地做。
五、如果决定要试，从这开始
第 1 步：先测需求。用云端跑一个月，记录你每天到底用它干什么。
第 2 步：选一个"能装下"的模型（不是最大的，是能跑得动的）。
第 3 步：用量化版本（Q4 级别通常够，体积小一半）。
第 4 步：先用一周，再判断值不值。别一上来就买显卡。 先用你现有的电脑跑一个 7B 量化模型，体验一下"慢"和"笨"，再做决定。
六、一个折中方案
敏感数据本地处理，其他都用云端。
本地跑一个小模型做"脱敏"和"初筛"，把处理过的内容交给云端做强加工。这样既守住隐私底线，又不牺牲能力。
三个常见错误
- 以为本地就等于安全。 模型是安全的，但你的日志、缓存、临时文件不一定。
- 只看硬件价格，不算时间成本。 折腾一周末省下 20 元/月，不划算。
- 追最大参数。 跑不动的模型等于没有。