Nemotron Bolt：先定24GB预算，再决定模型怎么压缩

开放模型 / 推理优化 · 8.5/10 · 建议深挖

NVIDIA发布Nemotron 3.5 Super VL和Bolt。其中Bolt从120B总参数、12B活跃参数的Super VL压缩而来，得到74B总参数、9B活跃参数的版本，目标是在24GB内存预算内运行本地Agent。另一个4GB的E4B版本计划10月23日提供，尚不能算已经发布。

它不是只把数值精度调低。技术说明先用StarElastic搜索各层保留多少专家、采用多宽的中间层，再对主要专家权重做约2比特量化，通过蒸馏和后训练补回损失的能力。部分层仍使用4比特或8比特，不能把整个网络理解成统一2比特。

这条路线改变了模型选择的顺序。面对固定内存，过去往往先选一个装得下的小模型，再量化；Bolt尝试从更强的母模型出发，联合压缩结构和权重。在相同内存预算下，这可能保留更多能力，但代价仍要逐项看。

Artificial Analysis的独立测试就提供了一个反例：Bolt的平均推理输出约8.2万词元，Super约4.6万。内存占用下降，并不保证一项工作消耗的词元或总时间也下降。测试中的云端Super高吞吐数据，和本地Bolt的解码速度也是两组不同条件，不能拼成一个“24GB电脑跑到数百词元/秒”的结论。