长上下文太贵，让模型学会挑哪些内容值得看

稀疏注意力 / 推理效率 · 8.5/10 · 建议深挖

长文档和长任务越来越常见，每生成一个新词都把前面的内容读一遍，计算会很贵。稀疏注意力只选一部分上下文参与计算，难点是选谁。以往一些方法让选择器模仿原模型关注了哪里，但原模型看得多的地方，未必是在有限预算下最有用的地方。

腾讯混元团队的 SAS 把选择器的分数直接接进注意力计算，让最终预测的误差也能反过来训练选择器。它仍然只选有限的内容块，但同时保留所选内容之间的优先程度。代码包含训练、评测和基于 SGLang 的稀疏推理实现。

在 Qwen3 的几种规模模型上，作者报告了推理、长上下文理解和工具使用任务的改善。速度测试需要注意口径：Qwen3-4B、单卡、批量为 1、512K 上下文时，逐词解码约快 5.6 倍；测试先读完输入，再计量生成阶段，输入预处理并没有提速。8K 上下文时两者速度接近。因此，它更像是长任务的一项专门优化，不能直接写成“所有请求快了五倍”。论文 9 月 11 日提交，14 日公告。