共 2 篇
48GB 的 80B 模型，在 32GB 内存的笔记本上跑出 37 tok/s。做法不是把模型压小，而是每次只把当前 token 要用的专家从固态硬盘读进来。
微软披露 MAI-Base-2：总参数 2.8 万亿、单次激活 800 亿的 MoE 模型，预训练效率是最强开源基座的 4 到 12 倍。这篇讲清预训练到底在练什么。