NCP：在预测下一个词之外，再预测概念
基础模型 / 预训练 · 9/10｜建议深挖
上海人工智能实验室与上海交大 LUMIA Lab 的 NCP-ArchPreview，把两种预测放进同一次训练。模型从内部表示中学习离散的概念编码，预测后续概念，再把结果送回文字生成部分。这里的“概念”是模型学出的编码，并非人事先写好的词义标签；最终输出仍然逐个生成词元。
这次报告给出 8.9B 参数规模的实验，并公开多个训练阶段的检查点。相比 OLMo-3-7B，它用约 51.3% 的训练词元达到对方第一阶段的最终损失。但两者参数量不同，更有参考价值的是另一组对照：与同为 8.9B 参数的基线相比，约用 85% 的计算量接近其训练损失。
“学得更快”能否变成“实际更好用”，还要分阶段看。作者报告预训练后的下游平均成绩提高 2.45 个百分点，继续中期训练后优势缩小到 0.59 个百分点；长上下文训练也尚未包含在这次预览中。它提供了一个可检查的预训练改法，距离证明所有任务都能明显受益，还有一段路。