开源决策模型推理引擎，官方实测最快 5.3 倍

风控、审核、工单分派这类业务，模型不用写文章，只要给出「是/否、选哪个、几分」。给这种判断题换上专用引擎，速度差出一个量级——至少厂商自己测出来是这样。

一、发生了什么

10 月 20 日 DeepSeek 刚开源自家生产环境的推理框架 DeepInfer，两天后，10 月 22 日，国内创业团队 StartLux 原点星辉也放出了自研推理引擎 Prism，并在宣传中称其为首个专门面向决策模型的开源推理引擎。成立尚不满五个月的这家公司，10 月 16 日刚以 69.1 分登上 Hugging Face 的 Decision Index 0.3.2 榜首，在 173 个可复现模型中排第一，模型累计下载超 18 万次。

决策模型和聊天模型的跑法很不一样：读完材料后直接输出各选项的概率，不逐字生成文章。此前它一直跑在 vLLM 这类为文本生成设计的通用框架上，每次提问都要走一遍完整请求、重新读一遍材料，还要对近 25 万个候选词打分——而决策输出只用得到 26 个字母选项。

二、跟你有什么关系

做风控、审核、路由业务的工程团队。 这类业务请求又短又密，正是专用引擎收益最大的区间。官方自测典型负载下每秒处理 100 道请求，最好的通用框架是 38 道。

用大模型跑批处理的人。 同一份材料要问多个问题时，「森林式」计算让材料只读一次，官方实测连问三题快 5.3 倍。逐题重复读材料的框架在浪费钱。

受够了结果漂移的人。 Prism 全部用 int8 整数运算，加法不受计算顺序影响，同一道题跑多少次结果一致——这对直接驱动业务动作的概率输出很关键。

三、怎么用

1. 先看模型对不对口。Prism 目前围绕 StartLux 自家 Decision 系列模型，代码在 GitHub 开源；想拿它跑别的决策模型要先确认结构兼容。
2. 算自己的负载画像。请求短、频、多问复用同一材料，收益最大；单条 8192 token 的长问题，官方自测优势收窄到 1.2 倍，值不值得换要另算。
3. 显存不够也有低门槛版本。压缩后 16.55GB，官方称一块 32GB 显存的 RTX 5090 就能跑，准确率与满血版差距仅 0.03 个百分点。

四、三个别信的说法

错误说法一：快 5.3 倍就是全面碾压。 这些数字全部是厂商在不同版本、不同条件下自行测试的官方口径，且极限满载 64 路并发时领先收窄到 17% 到 22%——瓶颈在显卡算力，软件优化帮不上。换引擎前用自己的数据复测。

错误说法二：决策模型可以替代大模型。 决策模型只输出判断，不产出内容。两者是互补：该生成文案的还是语言模型，该打分路由的才轮到它。

错误说法三：开源引擎等于行业标准。 Prism 开源才两天，生态只有自家模型和配套基准。DeepSeek 等厂商也在自研推理框架，谁的定义被行业接受还早。

五、一句话结论

模型输出从文章变成概率，引擎就得换算法——判断类业务值得盯这条专用化路线。

信息来源

• 智东西：StartLux 开源决策模型推理引擎 Prism（2026-10-23）

功能与价格以官方公告为准。本文写于 2026 年 10 月 24 日。