TY  - UNPB
TI  - Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
UR  - https://arxiv.org/abs/2609.03430
DA  - 2026-09-03
AU  - Wang, Heng
AU  - Qiu, Jielin
AU  - Zhao, Wenting
AU  - Qian, Cheng
AU  - Yang, Liangwei
AU  - Han, Jiawei
AU  - Ji, Heng
AU  - Savarese, Silvio
AU  - Heinecke, Shelby
AU  - Wang, Huan
KW  - 推理设施
KW  - 待阅读
KW  - 补看
N1  - 以下为2026-09-06期已核验稿件的阅读笔记，保留当时的证据与判断，不代表后续研究已确认。  🧠 02 / 随机删缓存，为什么也能做好长推理？  **推理基础设施 · 8.5/10 · 近期补看：9 月 3 日提交 · 建议深挖**  模型思考得越久，保存前文计算结果的 KV 缓存就越大。为了省显存，很多方法会给缓存内容打分，再决定删掉谁。Salesforce AI Research 等团队的 Random Attention 提出一个反直觉的对照：保住用户的问题，其余推理记录在各个注意力头里随机保留，省掉复杂的评分。  作者在四个模型、数学与科学及代码推理任务上测试，发现这种方法能接近强基线的准确率。其解释是，问题中的信息一旦丢失很难恢复；推理过程却常常复述中间结果，同一信息还可能保存在不同注意力头中。保护好输入后，剩余内容未必需要精细排序。  在论文的 vLLM 服务实验中，生成长度为 32k token 时，相对 TriAttention 的吞吐提升为 32%–43%。这不是所有请求都快这么多：短输出、很长的代码输入，以及只出现一次的关键信息，都可能改变收益。结果目前来自作者实验，也不能直接推广到任意模型或长期 Agent 记忆。  它最值得复现的地方，是用很便宜的随机对照重新检查复杂算法的收益。做推理优化时，先确认究竟是哪一部分信息必须保留，可能比设计更复杂的分数更有用。  [论文与实验](https://arxiv.org/html/2609.03430v1) · [代码与复现工具](https://github.com/SalesforceAIResearch/Random-Attention)  入选理由：保护输入、随机淘汰推理缓存，机制与效率值得复现；作者32k生成条件下相对TriAttention吞吐提高32%–43%。  论文原始日期：2026-09-03；本期归档日期：2026-09-06。 本期资料：https://www.asteronline.cn/juju-radar/2026-09-06/ AI辅助整理。
ER  -