02 / 随机删缓存，为什么也能做好长推理？
推理基础设施 · 8.5/10 · 近期补看：9 月 3 日提交 · 建议深挖
模型思考得越久，保存前文计算结果的 KV 缓存就越大。为了省显存，很多方法会给缓存内容打分，再决定删掉谁。Salesforce AI Research 等团队的 Random Attention 提出一个反直觉的对照：保住用户的问题，其余推理记录在各个注意力头里随机保留，省掉复杂的评分。
作者在四个模型、数学与科学及代码推理任务上测试，发现这种方法能接近强基线的准确率。其解释是，问题中的信息一旦丢失很难恢复；推理过程却常常复述中间结果，同一信息还可能保存在不同注意力头中。保护好输入后，剩余内容未必需要精细排序。
在论文的 vLLM 服务实验中，生成长度为 32k token 时，相对 TriAttention 的吞吐提升为 32%–43%。这不是所有请求都快这么多：短输出、很长的代码输入，以及只出现一次的关键信息，都可能改变收益。结果目前来自作者实验，也不能直接推广到任意模型或长期 Agent 记忆。
它最值得复现的地方，是用很便宜的随机对照重新检查复杂算法的收益。做推理优化时，先确认究竟是哪一部分信息必须保留，可能比设计更复杂的分数更有用。