#量化

内存不够也能跑 80B：把专家放到 SSD 上

48GB 的 80B 模型，在 32GB 内存的笔记本上跑出 37 tok/s。做法不是把模型压小，而是每次只把当前 token 要用的专家从固态硬盘读进来。