微软 2.8 万亿参数模型在练什么
微软披露 MAI-Base-2：总参数 2.8 万亿、单次激活 800 亿的 MoE 模型，预训练效率是最强开源基座的 4 到 12 倍。这篇讲清预训练到底在练什么。
"预训练"听起来很抽象，说白了就是让模型把海量文本读一遍，学会一件事：下一个词最可能是什么。
一、发生了什么
10 月 15 日，微软 AI 发布博客称，已完成新一代基座模型 MAI-Base-2 的预训练。这是一个混合专家（MoE）模型，总参数 2.8 万亿，每次推理激活 800 亿。
微软给出的两个结论：在自家留出的评测集上，它超过了所有被测的开放权重模型；预训练算力效率比最强的开放基座 DeepSeek-V4-Pro-Base 高 4 到 12 倍。省下来的算力，被用来训一个更大的模型。
先把 MoE 说清楚。它把前馈层拆成很多个"专家"，每个 token 只激活其中几个。总参数决定容量，激活参数决定每次推理要花多少算力。2.8 万亿听起来夸张，但每次只算 800 亿，推理成本和同等激活规模的稠密模型接近。这也是为什么大厂都在走这条路——参数可以继续涨，单位成本不跟着涨。
方法上有两个刻意的选择。一是训练数据全部来自"有机数据"，不做其他模型的蒸馏；二是端到端自建管线，因此可以把权重通过 Foundry 授权给企业客户。微软强调，这让它在数据来源上"可交代"。
"可交代"这三个字是商业话术，也是真问题。企业客户买权重，最怕两件事：一是许可证来源不清，二是模型其实是蒸馏别人的产物，用起来有法律风险。微软把"没用蒸馏"当成卖点，说明这个市场已经开始为"数据干净"付费。
目前 MAI-Base-2 正在做后训练，也就是指令微调、偏好对齐这一类工作。今年 6 月，微软发布过 MAI-Thinking-1，那是在 MAI-Base-1 上后训练出来的通用模型，主打推理。基座换一代，后训练的成果要重做一遍，这是这类团队最耗时的部分。
二、跟你有什么关系
企业 IT：如果权重真的通过 Foundry 授权，私有部署就多了一个非开源的选项。数据不出域、责任有合同主体，这两点对大机构比跑分重要。代价是绑定一家供应商，迁移成本要提前算。
开发者：基座效率提升，最终会传导到 API 价格和上下文长度。今天觉得贵的长文档任务，明年可能就便宜了。
关注国产模型的人：被微软拿来当效率基准的，是 DeepSeek 的基座模型。这个选择本身说明，在"每单位算力换多少能力"这件事上，中国开源模型已经是参照系。
三、预训练在练什么
- 练压缩。模型学的是文本里的统计规律。参数就是压缩后的规律，规律越通用，迁移到新任务时越省事。
- 练规模效率。同样效果用更少算力，等于同样的钱买更多能力。4 到 12 倍这个区间，说的是达到同等 loss 所需的预训练浮点运算量。
- 练数据来源。用谁的数据、有没有蒸馏别人的输出，决定了这份权重能不能卖、卖给谁。这是商业问题，不是技术问题。
- 练工程直觉。预训练是长周期投入，中途发现数据配比错了，往往只能重来。所以"效率"不只是省钱，它决定了你一年能试几次。4 到 12 倍的效率差，换算成迭代次数就是几倍的机会差。
四、三个别信的说法
「参数越多越强。」 MoE 看的是激活参数和路由质量。2.8 万亿总参数，每次只用 800 亿，实际算力和"2.8 万亿的稠密模型"完全不是一个量级。
「预训练已经不重要了，后训练才是关键。」 后训练能提升表现，但天花板是基座给的。基座不会推理，再多微调也调不出来。
「效率高 4 到 12 倍就是全面领先。」 这是微软自己的评测口径、自己的对比对象。第三方复现之前，只能当参考。而且它比的是开放权重模型，没和闭源前沿模型正面比。
五、一句话结论
预训练没有停，只是从"堆算力"变成了"用更少的算力，喂更干净的数据"。
信息来源
- Microsoft AI《Frontier Pre-training at Microsoft AI》，2026-10-15：链接
功能与价格以官方公告为准。本文写于 2026 年 10 月 17 日。