共 2 篇
48GB 的 80B 模型，在 32GB 内存的笔记本上跑出 37 tok/s。做法不是把模型压小，而是每次只把当前 token 要用的专家从固态硬盘读进来。
有人把 llama.cpp 跑在越狱的 PS5 上，用 11.4GB 共享内存当模型池，在局域网里当一个兼容 OpenAI 的服务。实测 9B 模型 55 tok/s，27B 掉到 20 tok/s。