两路文本叠加：Transformer能否一次处理两段话？

Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs

逐位置平均两段文本的词向量后，模型仍保留部分双流预测信号。微调改善内容词，但吞吐未超过普通双请求批处理，生成质量仍有差距；9月24日提交，9月27日期补看。

首次公开：2026-09-24 · 收录：2026-09-27

相关期次：2026-09-27 精选

阅读笔记

两段等长文本逐位置词向量平均后送入一个Transformer，原始模型仍保留两路预测信号，但常见词贡献大、内容词恢复差。Qwen2.5-3B内容词中位名次基础模型284、针对性微调后5。直接分离两路输出的吞吐与正常双请求批处理约相当；引导解码更慢、生成质量低于独立处理。9月24日14:12 UTC提交，作为9月27日期近期补看。

原文：https://arxiv.org/abs/2609.29845
本期资料页：https://www.asteronline.cn/juju-radar/2026-09-27/
AI辅助整理。

笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。