AI百科网 AI教程
工具库

398 亿参数开源编程模型 Flint,MacBook 上每秒 131 个 token

能跑在笔记本上的开源编程模型又多一个选项。本文整理 Flint 的官方速度与基准数据、和谁比、弱在哪,并给三类开发者一个判断:谁值得本地部署,谁继续用云端更省心。

本文目录 · 6 节

写代码的人大多体会过这种分裂:云端模型聪明,但代码和隐私得出走一趟服务器;本地模型安心,可一动真格的就慢得让人想摔键盘。10 月 22 日新开源的 Flint,想证明这两件事可以不必二选一。

一、发生了什么

据智东西 10 月 22 日报道,前 Meta FAIR 研究总监田渊栋参与创办的 AI 公司 Recursive Superintelligence(简称 Recursive)发布首款本地编程模型 Flint,采用 Apache 2.0 许可证开源,开发者可以从 Hugging Face 拿到权重,在自己设备上部署。

几个关键数字:

  • 架构:混合专家(MoE)结构,总参数量 398 亿,但每个 token 只激活约 25 亿参数——这正是它跑得动笔记本的原因。MoE 的意思是模型里有一群"专家",每次推理只叫醒相关的几个,而不是全员上阵。
  • 速度:官方数据显示,在 48GiB 内存的苹果 M4 Pro 设备上用 MLX 框架跑,短上下文场景生成速度 131.22 token/秒;在英伟达 RTX Spark 上用 NVFP4 量化版可达 155.82 token/秒,约为同类模型的两倍。
  • 成绩:官方口径下,SWE-Bench Verified 拿到 74.2%,SWE-Bench Pro v2 是 89.7%,Terminal-Bench 2.1 为 54.9%;六项基准平均 80.6 分,在对比名单里仅次于 Qwen3.8 的 84.7 分,高于 Muse Glimmer 的 74.8 分。
  • 上下文:最高约 51.2 万 token,官方建议实际使用控制在 25.6 万以内,编程效果更好。

部署方式上,它支持 SGLang、Ollama、LM Studio 等常见工具离线运行,官方还提供了自研推理引擎 rec,4bit 量化下生成速度是 llama.cpp 的 1.4 到 2.6 倍(官方测试口径,覆盖 1K 到 252K token 的不同输入长度)。

发布节奏也值得一提:Recursive 去年 5 月才公开亮相,这次是它交出的第一款模型。训练周期只有约 4 个月,靠的是自研的自动化研究系统——它自己提方案、写实验代码、看结果、决定下一步试什么。这个系统在研发中甚至参与了架构选型:最初测试的方案是总参数 350 亿、每 token 激活 30 亿,最后被它选中的是 400 亿总量、激活 25 亿的配置。

早期用户的反馈不太客气。有体验者说任务能完成,但耗时比预期长;还有人抱怨关掉思考模式后,回答依然偏长。也有开发者看中了它激活参数小的特点,打算让模型常驻内存、随时调用,接手一部分日常编程任务。

二、跟你有什么关系

经常处理大型代码库的开发者:25.6 万 token 的舒适区意味着整仓分析、跨文件重构这类活儿可以不切块地喂进去。如果你每天的工作就是在几个大仓库之间穿梭,本地部署的隐私红利是实打实的。

在意量化损失的人:官方数据显示,NVFP4 量化版六项基准平均 80.0 分,只比 16 位精度版本低 0.6 分,其中一项测试甚至反超 0.5 个百分点。量化不再意味着断崖式掉分,这对"想省显存又怕变笨"的用户是个可以核对的具体依据。

MacBook 用户:M4 Pro 上每秒 131 个 token 的意义不是跑分好看,而是交互体验——生成速度过了每秒百 token 这条线,等待感就接近云端服务了。以前"本地跑大模型"更多是折腾爱好,现在开始像正经生产力工具。

纯云端用户:先别动。Flint 在名单里输给了 Qwen3.8,而且官方自己承认,面对复杂任务它可能需要更明确的指令,建议把大任务拆成小任务。它赢在"本地、快、开源",不是"最强"。

三、怎么判断要不要本地部署

读到这儿,可以顺路看 1.58GB 的转写模型,不插显卡也能实时 微软把语音识别模型从 4.62GB 压到 1.58GB,普通笔记本 CPU 就能跑出实时速度。这篇给出实测数字,讲清"实时"的真实含义和它不适合的场景。
  1. 先看内存。官方测试用的是 48GiB 内存的设备。你的机器如果低于这个档位,先跑量化版本试试再下结论,别直接照搬宣传数字。
  2. 认工具链。不想折腾就用 Ollama 或 LM Studio 拉下来即跑;追求极限速度再看自研的 rec 引擎。已经有一套本地推理流程的,加一个模型权重的成本几乎为零。
  3. 给复杂任务拆活。官方建议把复杂任务拆成子任务交给它。实际使用中也确实有用户反馈:任务能完成,但执行时间比预期长;关掉思考模式,回答还是偏长。把它当"快而听话的协作者",别当"全自动程序员"。
  4. 控制上下文长度。名义上限 51.2 万 token,官方建议的舒适区是 25.6 万。塞太满,编程效果会打折。

四、三个别信的说法

「每秒 131 个 token,所以我这台也能跑出这个数。」这是官方在 M4 Pro、48GiB 内存、MLX 框架、短上下文条件下的数据。机型不同、量化方式不同、上下文长度不同,结果都会变。以你自己设备的实测为准。

「开源了就能平替云端模型。」六项基准平均分它排在 Qwen3.8 之后,复杂任务还需要人工拆解。它适合的场景是隐私敏感、需要离线、追求响应速度的编程工作;要顶格的智力,云端旗舰仍是另一档。正确的期待是:日常八成的编程辅助活儿留在本地解决,剩下两成高难度的再上云——分工用起来,比二选一划算。

「四个月训练出来的模型,不靠谱。」训练周期短是它的研发方式决定的:Recursive 用自研的自动化研究系统 Eureka Machine 提方案、写代码、跑实验,从零完成了整套训练流程。周期长短和模型质量没有必然关系,判断依据还是基准成绩和你自己的实测。

五、一句话结论

本地编程模型的及格线被再次抬高:398 亿参数、Apache 2.0 开源、MacBook 上每秒 131 个 token——隐私和速度终于不用二选一,但"最强"还轮不到它。

延伸阅读:

信息来源

本文基于公开信息整理,功能与价格以官方公告为准。

下一站 · 产品动态 Mistral 放出 Le Chonk:代码能打,总分落后 Mistral 开源了万亿参数的 Large 4,绰号 Le Chonk。它在编程任务上追平中国开源模型,综合分却差一截。这篇拆开三张榜单,讲清强在哪、贵在哪、值不值得自部署。
下一篇,直接发你邮箱

每周一封,只发新教程和可复制模板。不发广告,随时退订。

复制规范引用格式,便于转载注明出处
这篇有用吗?