SalesforceAIResearch/Random-Attention
模型思考得越久，保存前文计算结果的 KV 缓存就越大。为了省显存，很多方法会给缓存内容打分，再决定删掉谁。Salesforce AI Research 等团队的 Random Attention 提出一个反直觉的对照：保住用户的问题，其余推理记录在各个注意力头里随机保留，省掉复杂的评分。
仓库状态可能随时间变化，开放范围与使用条件请查看项目自身的许可证和说明。
模型思考得越久，保存前文计算结果的 KV 缓存就越大。为了省显存，很多方法会给缓存内容打分，再决定删掉谁。Salesforce AI Research 等团队的 Random Attention 提出一个反直觉的对照：保住用户的问题，其余推理记录在各个注意力头里随机保留，省掉复杂的评分。
仓库状态可能随时间变化，开放范围与使用条件请查看项目自身的许可证和说明。