浏览器里同时跑 7 个小模型

打开一个网页，点七次「加载」，七个小模型就住进了浏览器的缓存里。断网也能跑，提示词不出本机。

这不是演示视频，是一个可以直接打开的实验页面。它想说明的事情，比「浏览器能跑模型」更有意思。

一、发生了什么

MicroLLM Lab 挂在 stateofutopia.com 的一个实验路径下，作者把它定位成端侧 AI 实验台：模型完全在浏览器里跑，不用服务器，不用账号，权重缓存在本地的 IndexedDB。

模型一共 7 个，参数从 2600 万到 3.62 亿：

PetitGPT research-v1，1.246 亿参数，Apache-2.0，作者 yangqi0 用一张 RTX 4090、约 130 亿 token 训练，是这套实验的基线；
SmolLM2 135M Instruct 和 360M Instruct，Hugging Face 的小模型系列，135M 版本预训练约 2 万亿 token；
L20-Edu 135M，同样配方，用一张 NVIDIA L20、约 130 亿 token 训练，主打「小预算也能复现」；
MiniMind2 104M 和 MiniMind2 Small 26M，从零训练的教学规模模型；
GPT-2 124M，MIT 许可，走的是另一套 Q4 推理管线。

全部按 4 位量化打包，文件从 16 MB 到 226 MB。整个仓库压缩包约 589 MB。页面对技术的说明很直接：WebGPU 优先，不行退到 WASM，再不行退到纯 JS。

它内置 21 道客观题，用正则和精确 token 比对判分，不看文笔。页面上有一句我很认同的话，大意是：1.35 亿参数的模型本来就允许失败，失败本身就是测量结果。

这套选型也有明显的取舍。7 个模型里有 5 个是 1 亿参数上下，只有 SmolLM2 360M 算「大」的；它们都不是为多轮对话调过的产品级模型，长上下文、工具调用、结构化输出这些能力基本不在测试范围。它测的是最基础的语言能力和速度，恰好也是端侧分诊最需要的两项。

做产品的。 这套东西适合干分诊：分类意图、过滤垃圾、判断这条请求要不要升级给云端大模型。它不适合当问答主力。

关心隐私的。 权重和输入都在本机，这是端侧最实在的好处。但网页缓存不是保险箱，共用电脑上仍要自己清理。

做选型的。 别看参数看任务。同一个 1.35 亿参数规模，训练数据不同，客观题通过率能差出一大截。

先跑基准，再谈体验。 页面的测试是客观题，不是聊天手感。你自己的场景也要有一套能自动判分的题，否则「感觉还行」没有意义。
把模型当分诊层。 一个 26M 的模型做关键词之外的意图判断，够快；判断不了的再往上送。这样云端调用量能压下来。
盯三个数：首 token 时间、持续出词速度、通过率。 页面给的「不到 10 毫秒首 token」是它自己的口径，换一台 2016 年的显卡可能慢 3 到 8 倍，别照抄。
准备好降级路径。 WebGPU 不是所有浏览器都开。真要上线，得有 WASM 兜底，并且接受速度掉一个档。
量化不是免费的。 Q4 把权重从 16 位压到 4 位，体积小四分之三，代价是精度。先用你的题集验一遍，再决定能不能接受。
把缓存算进体验。 第一次加载要下几十到两百多兆，之后从浏览器本地读。用户在第一次打开时会不会走，取决于网速，不取决于模型。真要上线，首屏得先给一个轻量版本。

「小模型可以在浏览器里替代 ChatGPT。」 这套实验自己就不这么说。26M 到 362M 的模型，知识和推理深度都有限，它强在快、便宜、不出本机。把它当主力，用户第一次提问就会失望。

「参数一样，效果就一样。」 两个 1.35 亿参数的模型，一个训练了 2 万亿 token，一个只用了 130 亿，客观题通过率不在一个量级。参数量只是骨架，数据才是肉。

「WebGPU 一开，速度就都一样。」 浏览器、驱动、显卡代际都会影响结果。页面自己也提示老年份的 GPU 会慢好几倍。任何「统一跑分」都要注明设备和浏览器版本。

这 7 个模型不是缩小版的聊天助手，而是一层可以塞进浏览器的过滤器；它最大的价值是让「不该上云」的请求留在本地。

MicroLLM lab — tiny LLMs, Q4, in your browser，State of Utopia，访问于 2026 年 10 月 19 日

功能与价格以官方公告为准。本文写于 2026 年 10 月 19 日。