Niko1221/Strata
并行请求解决的是排队。旧版一次主要处理一段对话；新版可以开多个会话槽，长提示读到块边界时也能让别的请求先走。作者在 RTX 5070 12GB 上以 Q2_0 量化跑四路请求，最后一条请求从等待 11.2 秒缩到 1.8 秒才开始处理。不过四路的合计解码速度约慢 11%，单独请求也会因为会话挤占专家缓存而变慢。让更多人早点开始得到回答，和让整台机器每秒吐出更多字，是两回事。
仓库状态可能随时间变化，开放范围与使用条件请查看项目自身的许可证和说明。
并行请求解决的是排队。旧版一次主要处理一段对话；新版可以开多个会话槽，长提示读到块边界时也能让别的请求先走。作者在 RTX 5070 12GB 上以 Q2_0 量化跑四路请求，最后一条请求从等待 11.2 秒缩到 1.8 秒才开始处理。不过四路的合计解码速度约慢 11%，单独请求也会因为会话挤占专家缓存而变慢。让更多人早点开始得到回答，和让整台机器每秒吐出更多字，是两回事。
仓库状态可能随时间变化，开放范围与使用条件请查看项目自身的许可证和说明。