两段文字叠在一起，模型能否一次处理？

模型架构 / 推理研究 / 论文 · 8.4/10 · 建议读实验与限制

一篇9月24日提交的预印本做了一个看似违背直觉的实验：将两段长度相同的文字，逐个位置把词向量取平均，再把合成的向量序列送进同一个Transformer。按常理，两路内容容易互相干扰；作者却发现，未经特别训练的若干模型仍保留了部分两路预测信号。在所测模型中，原本各自会预测出的词约有30%至40%的机会进入混合输出前十名。

但这个数字容易被误读。论文进一步拆开常见虚词与真正决定内容的词：后者在原始混合模型里的表现很差。以Qwen2.5-3B的实验为例，内容词的原预测结果在混合输出中的中位名次是284；经过针对叠加任务的微调后降到5。这说明模型确有可利用的表示空间，也说明“天然可以同时写两篇文章”远非现成能力。作者还设计了分离两路输出的解码方法。

工程收益也未坐实。论文表格里，直接分离两路输出的吞吐量与正常的双请求批处理大致相当；需要小模型辅助的引导解码反而更慢。测试主要使用数亿到数十亿参数模型、固定长度输入和特定文本集，作者报告的生成质量仍低于独立处理。它眼下更像一条值得探索的模型结构线索：如果将来能在长文本、较大模型和真实服务负载下保持质量，才可能成为节省计算的新办法。