共 1 篇
有人把 llama.cpp 跑在越狱的 PS5 上，用 11.4GB 共享内存当模型池，在局域网里当一个兼容 OpenAI 的服务。实测 9B 模型 55 tok/s，27B 掉到 20 tok/s。