Reflection公布501B Beam：大规模强化学习的账摊开了

基础模型 / Agent训练 · 9.0/10 · 建议深挖

昨天我们写到 Reflection 正准备发布开放权重模型。今天它正式介绍 Beam：5010 亿总参数、每个 token 约 230 亿激活参数的稀疏专家模型，重点做编程、推理和 Agent 任务。这里出现了新的、可分析的训练细节：官方称预训练用 23.8 万亿 token，又用约 1.05 万张 NVIDIA GB300 在四周内生成超过 1 亿条强化学习轨迹；训练和评分累计运行约 13 亿次沙箱任务。

这篇介绍最有价值的部分，是把“模型如何学会长任务”落到环境和算力上。团队称准备了近百万个经过筛选的编程、终端和科学任务环境，反复清除过易、过难或可钻空子的任务；同时让执行任务、打分和更新参数异步运行。长轨迹可能落后当前权重一天以上，训练系统仍要保持稳定。它还用可调的长度惩罚，让模型在做对题与少花推理 token 之间寻找位置。参数规模只是账的一面，环境质量和轨迹吞吐是另一面。

但不要把“开放权重”理解成今天已经能下载。Reflection 说 Beam 仍在最后的红队与评估阶段，目前只给少量用户试用，权重、模型卡、完整技术报告和开发工件预计本月稍后发布。其自报 Terminal-Bench 2.1 得 80.1 分，同表 GLM 5.3 是 88.2；“同等推理水平少用三到四倍计算”基于激活参数和生成 token 估算，排除了提示预填充、注意力与服务开销。先看训练方法，实际能力和部署成本要等可复测工件。