DeepSeek 把长上下文的缓存账拆开了

基础模型 / 推理基础设施 · 9/10 · 建议深挖

DeepSeek-V4.1-Flash 已在9月10日发布，这次补看的是随后公开的技术报告。长任务 Agent 会不断读文件、日志和历史记录，输入往往比输出更重。报告把“读完输入”和“生成回答”分开设计：每个输入 token 激活约80亿参数，生成阶段则约160亿。

另一处重点是键值缓存，也就是模型为避免重复计算而保留的中间状态。跨层复用与低精度存储，让常驻显存的全局缓存降到每个 token 890字节，约为 DeepSeek-V4-Flash 对应部分的四分之一。这个比例只指该类缓存，不能理解成整套模型只需四分之一显存。

对放在主机内存或硬盘里的持久缓存，论文又采用局部滑动窗口状态重建，报告体积约降到前代的八分之一。它是在存储和重新计算之间作取舍，也不意味着一次 API 调用的价格会自动降到八分之一。

这篇最值得读的是成本怎样分摊：哪些输入只处理一次，哪些状态可以复用，哪些可以需要时再算。作者也提醒，稀疏选择失误和近似状态重建，在尚未充分测试的边界条件下仍可能影响能力。权重可以获取，实际收益还要放进具体的长任务中检验。