MiMo-V2.6:重点不是模型变大,而是一次怎样喂下75万条轨迹
基础模型 / Agent训练 · 9.5/10 · 建议深挖
小米发布MiMo-V2.6 Pro和Flash,并开放两款模型的权重、技术报告以及一批强化学习资源。Pro是稀疏混合专家模型,总参数1.02万亿,每个token激活约420亿参数;文字、图像、视频和音频共用一套模型,上下文长度100万token。权重采用MIT许可证。
这次真正值得看的,是训练方法。小米把编码、通用Agent、视觉操作和网络安全任务放进同一批强化学习,用全异步GRPO训练。每一步取1568个任务,每个任务并行生成16条轨迹,再由不同环境中的可验证结果给奖励。Flash和Pro各训练30步,合计产生约75万条轨迹,官方披露成本分别约85万美元和262万美元。
长任务的奖励不能只看“最后有没有通过”。两个方案都通过测试时,一个可能走了很长的弯路,另一个可能改动更小、用的token更少。MiMo为此加入组内比较:先从同组轨迹的差异中生成任务专属评分标准,再给已经通过基础验证的方案排优劣,把更短的路径和更好的实现重新写进优势值。它同时冻结MoE路由,并用对抗评估、异常检测和验证器交叉检查来压制奖励投机。
官方训练记录里,Flash在DeepSWE v1.1从48.8升到65.7,Pro从58.4升到72.6。最终模型卡给Pro报出的DeepSWE成绩是71.9。数字的轻微差别来自训练过程与最终评测口径,至少说明这些分数不能混成一张“持续上涨”的曲线。更大的限制是:30个更新步仍是一段短实验,官方用“递归自我改进”来描述方向可以理解,但还不足以证明模型已经形成长期、开放式的自我提升。
另一个容易被模型本身遮住的变化,是训练环境的供给方式。配套论文CodeMidas不再依赖GitHub issue和提交记录,而是从现有源码反推功能、自动写测试,再筛成可执行任务。它从3185个仓库构造了5545个任务,覆盖23种语言和15个技术领域。若这条路线站得住,Agent训练的瓶颈会从“哪里找人工标注题”转向“能否自动造出可信的环境和验证器”。
MiMo-V2.6已经是一次很完整的开放发布,但榜单仍主要来自官方评测,1.02万亿总参数也意味着本地部署门槛很高。接下来应看社区能否复现训练资源、长任务收益是否能延续,以及不同任务混训时会不会互相抢占能力。