Tencent-Hunyuan/Simple-Attention-Sparsification
长文档和长任务越来越常见，每生成一个新词都把前面的内容读一遍，计算会很贵。稀疏注意力只选一部分上下文参与计算，难点是选谁。以往一些方法让选择器模仿原模型关注了哪里，但原模型看得多的地方，未必是在有限预算下最有用的地方。
仓库状态可能随时间变化，开放范围与使用条件请查看项目自身的许可证和说明。
长文档和长任务越来越常见，每生成一个新词都把前面的内容读一遍，计算会很贵。稀疏注意力只选一部分上下文参与计算，难点是选谁。以往一些方法让选择器模仿原模型关注了哪里，但原模型看得多的地方，未必是在有限预算下最有用的地方。
仓库状态可能随时间变化，开放范围与使用条件请查看项目自身的许可证和说明。