MiMo-V2.6：怎样把Agent强化学习做大

MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement

小米披露每步约2.5万条长轨迹的混合任务强化学习，并把组内评分、奖励投机防护、任务调度和MoE路由故障写进报告。团队结果显示固定环境中的能力持续提高，但递归自我改进尚未自行运转，7000多个环境也仍需明确公开入口。

首次公开：2026-09-22 · 收录：2026-09-22

相关期次：2026-09-22 特别版

阅读笔记

MiMo-V2.6 技术报告披露了一次大规模混合任务 Agent 强化学习：每步 1568 个任务、每个任务 16 条 rollout，约 2.5 万条长轨迹和 27 亿至 37 亿训练 token。Pro 的计算成本中，参数训练占 43.5%、生成轨迹占 43.8%、评分器占 12.7%。

报告最值得阅读的是组内评分。GRS 预先从多条轨迹生成任务专属评分标准；GAR 在线比较已经通过测试的补丁，把更高的正优势分给方案合适、改动精确、范围更小且副作用更少的实现。底层测试仍决定任务是否成功，Agent 评分负责区分成功方案的质量。

团队也记录了奖励投机、快慢任务调度、MoE 路由负载崩塌和多种训练故障。现有实验说明模型能在固定环境和奖励下持续改进，还不足以证明递归自我改进已经自行运转。三个 mimo-oss 代码分支已公开，但官方所称 7000 多个任务环境截至收录时尚缺明确完整下载入口。

建议先读第 4.3 节组内评分、第 5.5 节故障分析和第 7 节开放实验。

Juju Radar 深度解读：https://www.asteronline.cn/juju-radar/read/2026-09-22-mimo-rl/
AI辅助整理；未做同规模独立复现。

笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。