大模型训练，开始预测下一组概念

Juju Radar · 2026.09.12

约 2,700 字 · 阅读约 9 分钟

语言模型通常靠预测下一个词元来学习。昨天公开的一份报告，在这件事上加了一层：让模型同时预测由几个词元组成的“概念”，再用概念帮助生成后续文字。

这期有四篇新公开的技术论文、一篇 OpenAI 工程记录，以及一条值得补看的编程模型进展。从预训练到实际运行，它们讨论的是几种不同的改进办法。

🧠 NCP：在预测下一个词之外，再预测概念

基础模型 / 预训练 · 9/10｜建议深挖

上海人工智能实验室与上海交大 LUMIA Lab 的 NCP-ArchPreview，把两种预测放进同一次训练。模型从内部表示中学习离散的概念编码，预测后续概念，再把结果送回文字生成部分。这里的“概念”是模型学出的编码，并非人事先写好的词义标签；最终输出仍然逐个生成词元。

这次报告给出 8.9B 参数规模的实验，并公开多个训练阶段的检查点。相比 OLMo-3-7B，它用约 51.3% 的训练词元达到对方第一阶段的最终损失。但两者参数量不同，更有参考价值的是另一组对照：与同为 8.9B 参数的基线相比，约用 85% 的计算量接近其训练损失。

“学得更快”能否变成“实际更好用”，还要分阶段看。作者报告预训练后的下游平均成绩提高 2.45 个百分点，继续中期训练后优势缩小到 0.59 个百分点；长上下文训练也尚未包含在这次预览中。它提供了一个可检查的预训练改法，距离证明所有任务都能明显受益，还有一段路。

论文与完整报告 · 模型检查点 · 评测代码

🎨 SenseNova-U1.5：读图和画图，怎样放进同一个模型

多模态 / 图像生成 · 8/10｜持续观察

SenseNova-U1.5 的新进展是 9 月 11 日公开技术报告。模型与权重在 8 月已经发布，这次可以更仔细地看它如何训练：一个 8B 参数架构同时承担视觉理解和生成，不依赖单独的视觉编码器或 VAE 图像压缩器。

报告中值得注意的是训练分工。团队先针对审美、文字、信息图和编辑等能力训练不同专家，再通过多专家蒸馏，把它们的长处汇入统一模型。空间重建训练则用来加强画面结构，配合原生 4K 生成。这些做法试图兼顾“理解画面内容”和“准确画出细节”，两者并不会自动同步进步。

现有权重和推理代码可以获取，U1.5 的完整训练流程仍待开放。官方部分高分使用了提示词增强，比较时需把这一步计入工作流。项目也列出了密集文字出错、复杂编辑漂移等问题；对中文信息图来说，能生成一张好看的示例，与能稳定交付可用图片，仍是两回事。

技术报告 · 代码与发布记录 · 模型文件

🤖 MaP-WAM：机器人记住过去，不必每一步都重看过去

机器人 / 记忆与规划 · 8.5/10｜建议深挖

机器人先看到按钮的颜色，按钮被遮住后，人才告诉它要找哪一种。只看当前相机画面，已经不够完成这个任务。MaP-WAM 将历史保存为一段段任务记录，里面有文字指令和少量真实画面；规划器读这些记录，提出下一段动作的文字和视觉计划。

执行器只接收眼前这段计划，并根据实际画面判断进度、修正偏差。这样的分工让它不必在每次动作推理时重新处理全部历史。近似保持不变的是执行器的推理延迟，不能理解为整套规划系统的成本永远不随记忆增长。

作者在 RMBench 上报告 83.3% 的成功率。实机部分是 Franka 机械臂上的两项任务：寻找被遮住的按钮，以及记住次数后依次按按钮；每项用 50 条示范训练，再独立测试 50 次，成功率分别为 88% 和 68%。这些结果支持了记忆与执行分工的思路，但任务范围还很窄，代码仓库也仍把训练和推理代码列为待发布。

论文 · 项目演示 · 代码发布进度

🧩 NSD：没有标准答案，也能研究自己容易怎么错

推理训练 / 开源论文 · 8.5/10｜建议深挖

Negative Self-Distillation，中文可译为“负向自蒸馏”。它先给模型加入容易诱导错误推理的条件，再比较模型在正常条件和干扰条件下的输出倾向，让训练有针对性地远离这些错误。关键在于筛选：如果对所有词元都一概拉开差异，正常的语言表达也可能被破坏。

实验使用 MATH 题目训练，去掉标准答案；默认做法会结合模型自己生成的解答来构造干扰。作者在 Qwen3 的 1.7B、4B 和 8B 模型上测试，七项数学评测的平均成绩分别提高 2.3、7.5 和 6.0 个百分点。代码和训练后的检查点已公开。

这些数字来自作者的数学实验，主表采用非思考模式、每题八次采样的平均成绩，这里统计的是平均答对率，不是八次里答对一次就算成功；编程或知识问答也未必会同样提升。它有意思的地方是：除了寻找更好的正确答案，还可以研究模型在什么条件下容易走偏，再把这类倾向变成训练信号。这里仍然需要题目、模型计算和训练资源。

论文 · 代码与检查点

🗄️ OpenAI Habitat：模型很快，产品也可能慢在存储层

工程 / 数据基础设施 · 8/10｜工程读者可深读

OpenAI 披露，存储平台 Habitat 每秒处理超过 7000 万次请求，服务的数据量超过 500 PB。这是存储访问量，不能当作模型推理请求数。它从 Python 客户端库逐步变成独立服务，将路由、权限和发布更新集中管理。

文章里最值得读的是一次拥堵故障：慢节点的连接归还得晚，而连接池优先复用刚归还的连接，结果新流量继续涌向已经很慢的节点。团队调整连接复用顺序，才打断了这个循环。另一个延迟来源，是大量进程同时解析配置文件。

这类细节提醒做 Agent 产品的人：一次任务可能引发很多次数据读取，用户等到的是其中最慢的那部分。排查延迟时，除了模型速度，还得看事件循环、连接池与下游服务。文中的规模和改善均为 OpenAI 自述，本期没有独立测量。

OpenAI 工程原文

💻 SWE-2：把不同推理预算，一起放进训练

Coding Agent / 强化学习 · 8.5/10｜9 月 10 日发布

Cognition 的 SWE-2 基于 Kimi K3 继续强化学习。它在一次训练中联合优化不同推理预算：既奖励任务完成，也按预算档位惩罚成本，尝试让模型在较便宜的设置下尽快动手，在困难任务上投入更多推理。

官方给出的 FrontierCode 1.1 Main 成绩为 50.0%，接近其表中 Fable 5.1 的 50.9%，并称该比较下任务成本低 64%。这个比例取决于榜单任务、推理档位和计价条件，不能直接换算成所有用户账单都会减少 64%。它也没有在这张表里超过所有模型。

相比单个最高分，更值得看的是训练方法：模型能否在多个成本档位上都完成更多任务。Cognition 还提到扩充训练环境、加强任务验收程序，以减少模型钻评分规则的空子。现实中的编程助手同样需要同时检查成果和开销；只限制输出长度，未必会得到更经济的工作方式。

官方发布与训练方法

今天的主线

NCP 和 NSD 都在调整模型从什么信号中学习：一个增加对概念的预测，一个利用自身容易出错的倾向。它们仍是具体架构和任务上的实验，但比单纯再加训练数据，多给了研究者两种可验证的选择。

机器人与编程模型则在处理成本怎么分配：哪些历史交给规划器，执行器每一步需要看多少信息，一道任务值得花多少推理预算。这些问题会直接影响系统能否持续使用，不能只靠一项最高分回答。