NCP：词元与概念联合预测

NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction

在8.9B模型中同时训练词元和概念预测。参数匹配对照显示优化优势，但中期训练后下游收益缩小，长上下文尚待验证。

首次公开：2026-09-09 · 收录：2026-09-12

作者

NCP Team；Cao, Jiaqi；Chen, Chiyu；Cheng, Shuang；Cheng, Xu；Dai, Beiya；Feng, Yufan；Ge, Kewen；Ge, Ruijun；Huang, Jiayi；Jiao, Yang；Lin, Dahua；Lin, Zhouhan；Liu, Yifan；Liu, Yuliang；Qi, Biqing；Ruan, Mowen；Shen, Junzhe；Song, Yunchong；Sun, Hao；Tian, Zhongbo；Wang, Yixuan；Wei, Rubin；Xiong, Jiaxin；Yang, Kangyu；Yao, Qian；Zhang, Qi；Zhou, Bowen

论文原文 PDF 导入 Zotero（RIS）

阅读笔记

上海人工智能实验室与上海交大 LUMIA Lab 的 NCP-ArchPreview，把两种预测放进同一次训练。模型从内部表示中学习离散的概念编码，预测后续概念，再把结果送回文字生成部分。这里的“概念”是模型学出的编码，并非人事先写好的词义标签；最终输出仍然逐个生成词元。

这次报告给出 8.9B 参数规模的实验，并公开多个训练阶段的检查点。相比 OLMo-3-7B，它用约 51.3% 的训练词元达到对方第一阶段的最终损失。但两者参数量不同，更有参考价值的是另一组对照：与同为 8.9B 参数的基线相比，约用 85% 的计算量接近其训练损失。

“学得更快”能否变成“实际更好用”，还要分阶段看。作者报告预训练后的下游平均成绩提高 2.45 个百分点，继续中期训练后优势缩小到 0.59 个百分点；长上下文训练也尚未包含在这次预览中。它提供了一个可检查的预训练改法，距离证明所有任务都能明显受益，还有一段路。

判断：共同训练词元和概念预测，8.9B规模及参数匹配对照，检查点公开；长上下文与下游收益仍待验证。
原始论文：https://arxiv.org/abs/2609.10715
本期资料：https://www.asteronline.cn/juju-radar/2026-09-12/
AI辅助整理。

笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。