微软公开MAI-Base-2训练细节：2.8万亿参数，先解决怎么训

基础模型 / 训练方法 · 9/10 · 建议深挖

微软公布MAI-Base-2的预训练报告。这是总参数2.8万亿、每步激活800亿参数的混合专家模型，用约1.6万块GB200训练了38天。它仍在后训练阶段，本次公开的是训练方法与结果，尚未提供可下载权重。

报告里一个容易被忽略的改动，是让小规模试验也按大模型的比例重复数据。否则，小试验见到的独特样本相对更多，选出的结构和超参数放大后可能更容易过拟合。训练系统则把拥挤专家收到的词元分轮处理，在固定内存内接住负载，避免简单丢掉溢出的词元。

微软估计，相对DeepSeek-V4-Pro-Base，要达到相同评测水平，这套配方所需计算量约为后者的1/4.2至1/12.3。这个数来自内部留出集和拟合曲线，不代表整次训练账单少了相同比例，也不是聊天或Agent能力的领先倍数。报告还把基础模型与部分后训练模型放在一起比较，微软自己也提示了这一差异。

这里更值得追踪的是：数据重复方式、专家调度与优化器能否一起降低扩大训练的试错成本。最终模型好不好用，要等后训练结果和外部测试；现阶段，这份报告更适合拿来研究训练工程。