Strata让125B模型在家用显卡上接待多路请求

推理基础设施 / 开源项目 · 8.5/10 · 建议看版本测试

Strata 10 月 4 日发布 v0.1.39，让本地运行的 Qwen3.8-Flash-Next 能同时处理多路请求，并接入 OpenAI Responses API。后者让 Codex 一类使用该接口的编程 Agent 能把本地模型当成服务端调用。这里的 125B 是模型总参数，真正运行还要靠稀疏激活、量化，以及把大量专家参数放在内存中；一张 12GB 显卡远远不是全部硬件需求。

并行请求解决的是排队。旧版一次主要处理一段对话；新版可以开多个会话槽，长提示读到块边界时也能让别的请求先走。作者在 RTX 5070 12GB 上以 Q2_0 量化跑四路请求，最后一条请求从等待 11.2 秒缩到 1.8 秒才开始处理。不过四路的合计解码速度约慢 11%，单独请求也会因为会话挤占专家缓存而变慢。让更多人早点开始得到回答，和让整台机器每秒吐出更多字，是两回事。

这项更新更适合有多名使用者、又在意数据留在本地的团队试验，不宜只按“125B 装进 12GB 显卡”理解。项目文档仍要求相当多的系统内存；版本里的性能数字来自开发者和贡献者的特定硬件测试。它证明了一个可用方向，也把本地部署最难回避的账摊开了：显存、内存、排队时间和每个会话的速度必须一起算。