ds4：Redis 作者做的本地推理引擎

一台 128GB 统一内存的 Mac，跑一个 2840 亿参数的混合专家模型，生成速度 39 token/s。这个数字放在两年前属于机房，现在它出现在一台笔记本的官网页面上。

一、发生了什么

Redis 的作者 antirez 发布了一个叫 DwarfStar 4 的项目，简称 ds4，MIT 许可。它不是通用的本地模型运行器，而是一个用 C 写的窄用途推理引擎，只针对三类模型做端到端适配：DeepSeek V4 与 V4.1 Flash、GLM 5.x、Qwen3.8 Flash Next，文本和视觉都在范围内。

官方给的硬件分档是：Apple Silicon 64GB 起，具体看模型；英伟达 DGX Spark 或普通 CUDA 机器；AMD Strix Halo 一类走 ROCm；Mac Studio 512GB 可以上 V4.1 的 Q4 档。DeepSeek V4 Flash 是 284B 参数的 MoE，ds4 的做法是非对称 2-bit 量化，压的是路由专家，共享的关键路径保留更高精度。

跑分要分开看。M5 Max、128GB、2K 上下文时，prefill 是每秒 790 个 token，生成 39.4；上下文拉到 65K，prefill 掉到 398，生成掉到 27.6。DGX Spark 的 prefill 更高，825，但生成只有 18.1，长上下文时 13.8。也就是说，同一份权重，两台机器擅长的方向不一样。

另外两个设计值得注意。长前缀的 KV cache 可以落到 SSD，重启后按提示词的哈希恢复，不必整段重算。接口有三套：命令行、兼容 OpenAI 与 Anthropic 风格的本地服务、以及一个常驻的 agent 会话。官方也明确说了，只支持项目自己转换的 GGUF，通用 GGUF 不是目标。

这个取舍值得多说一句。市面上多数本地运行器追求"什么模型都能加载"，代价是每类模型只能做通用优化。ds4 反过来：只认几个家族，把每种布局都端到端验一遍，连量化策略都按模型的专家结构来定。窄，换来的是同样的内存能放下更大的模型。代价也很直接：新模型出来，你得等它适配。它不是通用工具，是一条被调好的路线。

二、跟你有什么关系

想在本机接编程 agent 的人。 ds4 的 server 能被 Claude Code、Codex CLI、OpenCode 这类客户端当成后端，改一个地址就行。省下的是订阅和按量计费，付出的是机器折旧、电费和调参时间。

手上只有 32GB 或 64GB 的人。 能跑什么不由参数量决定，由量化档和内存决定。官方硬件表里，128GB 才能同时放下 GLM 5.3 Q2 和 Qwen Q4，V4.1 的 Q2 还得从 SSD 流式读。别看着"284B"就下单。

团队。 本地推理现在更像是兜底：断网、合规不能出内网、或者云端限流的场景。把它当主力，要看你的任务能不能接受 20 到 40 token/s 的速度。

还有一个容易被忽略的成本：显存和内存被占满之后，机器干不了别的。一台专门跑模型的 Mac Studio，等于从工作站变成了设备。这笔账要算进去。

三、怎么用

1. 先量统一内存，不是量显存。Mac 上这两件事是一回事，在 CUDA 机器上不是。
2. 照官方硬件表选量化档，别拿手上的通用 GGUF 直接试。格式不对，报错会很含糊。
3. 先测 prefill，再测生成。长上下文 agent 的等待时间主要花在 prefill 上，很多人的体感差就差在这里。
4. 接编辑器之前，先用本地 server 发一个最简单的请求，确认端口、鉴权和模型名对得上，再去改客户端的配置。
5. 做一次长上下文压力测试。把一份真实的长文件喂进去，看首字等多久、内存峰值多少。官方跑分是干净环境下的单会话，你机器上还开着浏览器和编辑器。

四、三个别信的说法

"本地跑就等于免费。" 电费确实便宜，但 128GB 统一内存的机器本身要几万块，摊到两年，每个月并不比订阅低。真正的理由是数据不出机器，不是省钱。

"2-bit 量化等于不能用。" 官方只说清楚了压缩方式，以及每个支持的布局都做过端到端校验，没有给出质量评测。量化对代码、数学、长文摘要的损伤不一样，必须拿自己的任务测。

"通用 GGUF 也能直接喂。" 官方原话是"不是目标"。它支持的是一小组经过验证的布局，模型、分词器、张量命名都要对得上。

五、一句话结论

ds4 值得看的不是又一个本地跑分，而是它证明了一件事：把模型、量化、硬件三样锁死，本地推理就能从"能跑"走到"能用"。对个人来说，判断标准也只有一条：它能不能在你的机器上，稳定跑完你每天真正要做的那件事。

信息来源

• DwarfStar 4 官方站点，2026 年 10 月访问
• ds4 硬件适配表，2026 年 10 月访问
• ds4 跑分表，2026 年 10 月访问

功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。