#预训练

微软 2.8 万亿参数模型在练什么

微软披露 MAI-Base-2：总参数 2.8 万亿、单次激活 800 亿的 MoE 模型，预训练效率是最强开源基座的 4 到 12 倍。这篇讲清预训练到底在练什么。