Strot：编译一次意图，之后决策都在本地跑

大部分做分类、打标签、路由的团队，都在为每一条记录付一次大模型调用的钱。Strot 反着来：大模型只在编译阶段调用一次，之后每条记录的判断都由一个 144M 参数的小模型在本机完成，约 60 毫秒出结果，边际成本是零。

一、发生了什么

Strot 是一个开源的 Python 库，把自己定位成「开放决策编译器」。你在开发阶段用自然语言说清意图，再给几条样例数据，一次大模型调用就会把这些意图和样例编译成一个独立的 Python 文件。此后，每条记录的分类、打分、路由都由本地小模型裁决，输出带概率和置信度的结构化 JSON。

官方默认的决策模型是 SupersonicLabs 的 Julia-1，144M 参数，纯 CPU 运行，无需 GPU。它的接口有两个：run() 把每条记录路由到某个动作，decide() 对每条记录回答布尔、打分或选择题。置信度低于 0.40 时会抛异常拒答，而不是瞎猜。

项目自己公布的基准里，在一个 398 条记录的路由任务上，编译后的产物准确率 92.5%，同样模型朴素用法只有 74.8%；在 AG News 未见标签上 86.7% 对 72.7%。这些数字是作者自测，未见独立复现。

二、跟你有什么关系

对每天处理大量工单分诊、内容预筛、线索打分的团队，这套思路能把按量计费的成本砍掉，代价是编译阶段的一次性投入。

对在意可审计性的人，运行时输出是在你自己的动作注册表里做选择和计算，不生成自由文本，理论上不存在结构层面的幻觉，不确定性会显式拒答。

对想要开放文本生成的场景，这不适用。它只做分类、打分、路由，不写文章。

三、怎么用

1. 用 pip 安装核心包，Python 需要 3.9 以上；要跑本地模型再装本地扩展。
2. 把你的意图写成带标签描述的样例，指定一次编译用的大模型（比如 Claude 系列）。
3. 编译通过「黄金门槛」——产物必须先答对你已知答案的记录——之后才能上线服务，之后用 run() 或 decide() 处理生产记录。

四、三个别信的说法

错误说法。 Strot 每条记录也调大模型，只是变便宜了。运行时完全不调 LLM，判断由本地 144M 小模型完成，这正是零边际成本的来源。

错误说法。 编译一次就能一劳永逸。内容寻址缓存意味着 schema 一旦漂移就会触发一次重新编译，不是永久不变。

错误说法。 它保证永远不会判错。它的校准用的是温度缩放加保形预测，只能保证派发出去的决定错误率不超过某个设定比例，其余记录会拒答，不是全对。

五、一句话结论

如果工作流里重复的分类和路由占大头，把大模型当编译器用一次、之后本地零成本决策，值得一试；但准确率数字还停在作者自测，先小规模验证再说。

信息来源

• Strot 官网 · 2026-10-20
• Strot 官方仓库（GitHub） · 2026-10-20

功能与价格以官方公告为准。本文写于 2026 年 10 月 21 日。