TY  - UNPB
TI  - NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
UR  - https://arxiv.org/abs/2609.10715
DO  - 10.48550/arXiv.2609.10715
DA  - 2026-09-09
AU  - NCP Team
AU  - Cao, Jiaqi
AU  - Chen, Chiyu
AU  - Cheng, Shuang
AU  - Cheng, Xu
AU  - Dai, Beiya
AU  - Feng, Yufan
AU  - Ge, Kewen
AU  - Ge, Ruijun
AU  - Huang, Jiayi
AU  - Jiao, Yang
AU  - Lin, Dahua
AU  - Lin, Zhouhan
AU  - Liu, Yifan
AU  - Liu, Yuliang
AU  - Qi, Biqing
AU  - Ruan, Mowen
AU  - Shen, Junzhe
AU  - Song, Yunchong
AU  - Sun, Hao
AU  - Tian, Zhongbo
AU  - Wang, Yixuan
AU  - Wei, Rubin
AU  - Xiong, Jiaxin
AU  - Yang, Kangyu
AU  - Yao, Qian
AU  - Zhang, Qi
AU  - Zhou, Bowen
KW  - Juju Radar
KW  - 待阅读
KW  - 基础模型 / 预训练
N1  - 上海人工智能实验室与上海交大 LUMIA Lab 的 NCP-ArchPreview，把两种预测放进同一次训练。模型从内部表示中学习离散的概念编码，预测后续概念，再把结果送回文字生成部分。这里的“概念”是模型学出的编码，并非人事先写好的词义标签；最终输出仍然逐个生成词元。  这次报告给出 8.9B 参数规模的实验，并公开多个训练阶段的检查点。相比 OLMo-3-7B，它用约 51.3% 的训练词元达到对方第一阶段的最终损失。但两者参数量不同，更有参考价值的是另一组对照：**与同为 8.9B 参数的基线相比，约用 85% 的计算量接近其训练损失**。  “学得更快”能否变成“实际更好用”，还要分阶段看。作者报告预训练后的下游平均成绩提高 2.45 个百分点，继续中期训练后优势缩小到 0.59 个百分点；长上下文训练也尚未包含在这次预览中。它提供了一个可检查的预训练改法，距离证明所有任务都能明显受益，还有一段路。  判断：共同训练词元和概念预测，8.9B规模及参数匹配对照，检查点公开；长上下文与下游收益仍待验证。 原始论文：https://arxiv.org/abs/2609.10715 本期资料：https://www.asteronline.cn/juju-radar/2026-09-12/ AI辅助整理。
ER  -