vLLM为DeepSeek旧模型提速，关键在少算重复上下文

推理基础设施 / 开源 · 8.8/10 · 建议技术读者深挖

vLLM公开了DeepSeek-V4.1-Flash的新服务优化。这里并非DeepSeek的新模型发布；模型已推出一段时间。新东西在推理服务端：同样的权重和请求，怎样少做重复计算、少占缓存，还能维持响应质量。

它调整滑动窗口注意力的重放范围，加入CUDA Graph、融合算子和FP4 KV缓存。可以把KV缓存理解成模型读过上下文后留下的工作笔记；笔记太大，显存很快塞满，长对话和高并发就会拖慢。vLLM报告，在特定GB200/GB300机器和SemiAnalysis AgentX负载下，低并发吞吐约提升1.9倍，150 TPS条件下约提升5.3倍。这是“一套硬件、一种模型、一类负载”的结果，不能直接写成所有DeepSeek部署都快五倍。

值得继续追的是效率与精度的交换。限制滑窗重放并非逐位完全等价；作者在GSM8K和GPQA上做了检查，结果落在约1.5个标准误以内，但这些测试不能覆盖每一种长上下文任务。真正部署前，应该用自己的请求分布重测吞吐、首字延迟和质量。今天的信号是：当模型权重不变时，推理栈仍能显著改变提供服务的成本。