TY  - UNPB
TI  - SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
UR  - https://arxiv.org/abs/2609.13141
DO  - 10.48550/arXiv.2609.13141
DA  - 2026-09-11
KW  - Juju Radar
KW  - 待阅读
KW  - 稀疏注意力
KW  - 推理效率
N1  - Juju Radar · 2026-09-15  长文档和长任务越来越常见，每生成一个新词都把前面的内容读一遍，计算会很贵。稀疏注意力只选一部分上下文参与计算，难点是选谁。以往一些方法让选择器模仿原模型关注了哪里，但原模型看得多的地方，未必是在有限预算下最有用的地方。  腾讯混元团队的 SAS 把选择器的分数直接接进注意力计算，让最终预测的误差也能反过来训练选择器。它仍然只选有限的内容块，但同时保留所选内容之间的优先程度。代码包含训练、评测和基于 SGLang 的稀疏推理实现。  在 Qwen3 的几种规模模型上，作者报告了推理、长上下文理解和工具使用任务的改善。速度测试需要注意口径：Qwen3-4B、单卡、批量为 1、512K 上下文时，逐词解码约快 5.6 倍；测试先读完输入，再计量生成阶段，输入预处理并没有提速。8K 上下文时两者速度接近。因此，它更像是长任务的一项专门优化，不能直接写成“所有请求快了五倍”。论文 9 月 11 日提交，14 日公告。  入选理由：用最终预测损失训练上下文选择器，绕开仅模仿原模型注意力的局限；公开训练评测流水线，区分解码耗时与完整请求耗时。 重要度：8.5/10。 论文提交：2026-09-11；arXiv公告：2026-09-14。 论文：https://arxiv.org/abs/2609.13141 本期资料：https://www.asteronline.cn/juju-radar/2026-09-15/ AI 辅助整理；原始 PDF 以链接附件保存，未独立复现。
ER  -