Random Attention：随机删减推理过程中的 KV 缓存
Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
保留提示词缓存，随机淘汰推理过程中的部分缓存，考察省去缓存评分能否提高吞吐。效果受上下文与实验配置限制。
作者
相关期次：2026-09-06 精选
阅读笔记
以下为2026-09-06期已核验稿件的阅读笔记，保留当时的证据与判断，不代表后续研究已确认。
🧠 02 / 随机删缓存，为什么也能做好长推理？
推理基础设施 · 8.5/10 · 近期补看：9 月 3 日提交 · 建议深挖
模型思考得越久，保存前文计算结果的 KV 缓存就越大。为了省显存，很多方法会给缓存内容打分，再决定删掉谁。Salesforce AI Research 等团队的 Random Attention 提出一个反直觉的对照：保住用户的问题，其余推理记录在各个注意力头里随机保留，省掉复杂的评分。
作者在四个模型、数学与科学及代码推理任务上测试，发现这种方法能接近强基线的准确率。其解释是，问题中的信息一旦丢失很难恢复；推理过程却常常复述中间结果，同一信息还可能保存在不同注意力头中。保护好输入后，剩余内容未必需要精细排序。
在论文的 vLLM 服务实验中，生成长度为 32k token 时，相对 TriAttention 的吞吐提升为 32%–43%。这不是所有请求都快这么多：短输出、很长的代码输入，以及只出现一次的关键信息，都可能改变收益。结果目前来自作者实验，也不能直接推广到任意模型或长期 Agent 记忆。
它最值得复现的地方，是用很便宜的随机对照重新检查复杂算法的收益。做推理优化时，先确认究竟是哪一部分信息必须保留，可能比设计更复杂的分数更有用。
[论文与实验](https://arxiv.org/html/2609.03430v1)) · [代码与复现工具](https://github.com/SalesforceAIResearch/Random-Attention))
入选理由：保护输入、随机淘汰推理缓存，机制与效率值得复现；作者32k生成条件下相对TriAttention吞吐提高32%–43%。
论文原始日期：2026-09-03；本期归档日期：2026-09-06。
本期资料：https://www.asteronline.cn/juju-radar/2026-09-06/
AI辅助整理。
笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。