SAS：直接学习长上下文中的内容优先级

SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking

让最终预测误差训练稀疏注意力选择器，避免只模仿原模型注意力。公开训练评测代码；速度收益主要在长上下文逐词解码，不包含输入处理。

首次公开：2026-09-11 · 收录：2026-09-15

相关期次：2026-09-15 精选

阅读笔记

Juju Radar · 2026-09-15

长文档和长任务越来越常见，每生成一个新词都把前面的内容读一遍，计算会很贵。稀疏注意力只选一部分上下文参与计算，难点是选谁。以往一些方法让选择器模仿原模型关注了哪里，但原模型看得多的地方，未必是在有限预算下最有用的地方。

腾讯混元团队的 SAS 把选择器的分数直接接进注意力计算，让最终预测的误差也能反过来训练选择器。它仍然只选有限的内容块，但同时保留所选内容之间的优先程度。代码包含训练、评测和基于 SGLang 的稀疏推理实现。

在 Qwen3 的几种规模模型上，作者报告了推理、长上下文理解和工具使用任务的改善。速度测试需要注意口径：Qwen3-4B、单卡、批量为 1、512K 上下文时，逐词解码约快 5.6 倍；测试先读完输入，再计量生成阶段，输入预处理并没有提速。8K 上下文时两者速度接近。因此，它更像是长任务的一项专门优化，不能直接写成“所有请求快了五倍”。论文 9 月 11 日提交，14 日公告。

入选理由：用最终预测损失训练上下文选择器，绕开仅模仿原模型注意力的局限；公开训练评测流水线，区分解码耗时与完整请求耗时。
重要度：8.5/10。
论文提交：2026-09-11；arXiv公告：2026-09-14。
论文：https://arxiv.org/abs/2609.13141
本期资料：https://www.asteronline.cn/juju-radar/2026-09-15/
AI 辅助整理；原始 PDF 以链接附件保存，未独立复现。

笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。