每秒 100 万 token 的公告,正文只有两句话
一条百万 token 的纪录传了半个月,官方页面却只有一句自我介绍和一句玩笑。这篇讲清数字的量纲、为什么不能进选型表,以及该拿什么指标替代。
一篇宣布「每秒 100 万 token」的页面,正文只有两句话,第二句是劝你别拿它核对重要信息。
一、发生了什么
9 月 24 日,Nori LLM 的页面在 Hacker News 上传开,标题写着突破每秒 100 万 token。当天的科技新闻汇总把它记成「Nori 声称吞吐超过每秒一百万 token」。
注意「声称」这个词。公开报道里能看到的都是转述,没有测试条件,也没有独立复现。
Nori 这家公司本身做的是云端编程智能体,按月收费,开发者档 99 美元、团队档 250 美元,卖点是模型随便选、自带密钥、不按 token 加价。
但那个模型页面没有模型卡:没有参数规模,没有上下文长度,没有硬件配置,没有批大小,没有价格,没有评测结果,连发布日期都没写。整页只有一句自我介绍,说它是世上最快的模型,并且「自信地、极其错误」,来不及核对重要信息。
后续有一些媒体转了这条消息,顺手推测它用了线性注意力或者状态空间模型。这些是推测,不是官方说法,页面上一个字都没提。也有报道把它写成「开源项目」,可页面上找不到仓库地址、权重和许可证。
一个值得注意的细节:Nori 真正在卖的是那套云端 agent,按月 99 或 250 美元,不按 token 加价。模型页面更像是给这门生意做的一张海报,而不是给开发者的一份说明书。海报上的数字可以很大,因为它不需要被调用。
二、跟你有什么关系
做选型的人:这个数字进不了采购对比表。它连量纲都没交代,比「某卡跑某模型多少帧」还不严谨,至少后者会说清楚显卡型号和画质档位。
做 agent 的人:真正影响体验的是首字延迟和每一步的往返时间。总吞吐再高,你那一条请求也不会因此变快。反过来说,如果它真能撑住两万并发,对做批量任务的人是好事——但那要看价格。
看榜单的人:把「聚合吞吐」和「单请求输出速度」放在一张表里比,是这一轮最常见的误读。两个数字都真,放在一起就是假的。
三、怎么判断
读到这儿,可以顺路看 Amp:20 人公司,部分用户每周烧百亿 token OpenAI 的 Amp 案例(厂商口径)里,最值钱的不是模型清单,是一个 20 人团队怎么把没人负责的活交给常驻智能体,以及它为什么同时接好几个模型。先做个算术。假设一个请求每秒吐 50 个 token,要凑到每秒 100 万,得有两万个请求同时在生成。这不是模型快了二十倍,是机器装得更满了。对单独一个用户,体验没有任何变化,甚至因为排队更慢。
- 先问这个数字是单请求还是整机聚合。Mercury 2.5 的 770 是单个请求的输出速度;百万级通常是几百个请求加起来的总吞吐,两者能差三个数量级。
- 再问批多大、上下文多长、输出多长。这三个变量一变,数字就变,不交代等于没测。
- 要首字延迟和 P99,不要平均值。平均值会掩盖长尾,而用户体验由长尾决定。
- 没有模型卡、没有价格、没有可调用接口的,先当作不存在。等它能被调用、能压测、能复现,再谈对比。
四、三个别信的说法
「每秒百万 token 意味着回答瞬间出现」。 吞吐和延迟是两件事。一千个请求同时在跑,总吞吐可以很高,你这一条照样要排队等首字。
「这是新的架构突破」。 页面没讲架构。线性注意力、状态空间模型都是媒体猜的,猜得对不对不影响一个事实:没有实现细节,就没有可复现性。真正的架构突破会配技术报告,而不是一句玩笑。
「速度快就适合 agent」。 agent 慢在工具调用、文件读写和多轮决策。生成速度往往不是瓶颈,除非你在跑纯文本批处理。把速度当唯一指标,最后买到的是一个跑得很快但不会用工具的东西。
五、一句话结论
这条纪录目前只有一句自我介绍和一句玩笑,没有可复现的口径。在看懂量纲之前,它不该出现在任何选型表里;等它敢给出模型卡,再谈真假。
信息来源
- Nori:Nori LLM 页面,访问于 2026 年 10 月 19 日
- Jason Robert:2026 年 9 月 24 日新闻汇总,2026 年 9 月 24 日
功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。
本文为编辑整理的行业动态,未附官方原文链接。涉及价格、参数、发布时间的,请以厂商官方页面为准;发现错误可来信指出,会在「本次更新」里注明。
每周一封,只发新教程和可复制模板。不发广告,随时退订。