125B模型在家用电脑上接多路请求

约 2,100 字 · 阅读约 7 分钟

Juju Radar · 2026 年 10 月 5 日

本期导读

今天看一项已发布的本地推理更新和一项尚未兑现的模型计划。Strata 给本地运行的大型稀疏模型加上并行请求：几个人可以同时向同一台机器发问，但低显存设备上的总速度反而会下降。Reflection 则据报道准备推出开放权重模型，想让企业在自己的算力上处理自己的数据；模型还没有正式亮相。

近期补看一篇离职文章。曾参与 OpenAI 安全框架和多次发布报告的 David Robinson，批评实验室太依赖出事后再修补。他说的是组织安全流程，并没有披露一桩今天才发生的新事故。

💻 Strata让125B模型在家用显卡上接待多路请求

推理基础设施 / 开源项目 · 8.5/10 · 建议看版本测试

Strata 10 月 4 日发布 v0.1.39，让本地运行的 Qwen3.8-Flash-Next 能同时处理多路请求，并接入 OpenAI Responses API。后者让 Codex 一类使用该接口的编程 Agent 能把本地模型当成服务端调用。这里的 125B 是模型总参数，真正运行还要靠稀疏激活、量化，以及把大量专家参数放在内存中；一张 12GB 显卡远远不是全部硬件需求。

并行请求解决的是排队。旧版一次主要处理一段对话；新版可以开多个会话槽，长提示读到块边界时也能让别的请求先走。作者在 RTX 5070 12GB 上以 Q2_0 量化跑四路请求，最后一条请求从等待 11.2 秒缩到 1.8 秒才开始处理。不过四路的合计解码速度约慢 11%，单独请求也会因为会话挤占专家缓存而变慢。让更多人早点开始得到回答，和让整台机器每秒吐出更多字，是两回事。

这项更新更适合有多名使用者、又在意数据留在本地的团队试验，不宜只按“125B 装进 12GB 显卡”理解。项目文档仍要求相当多的系统内存；版本里的性能数字来自开发者和贡献者的特定硬件测试。它证明了一个可用方向，也把本地部署最难回避的账摊开了：显存、内存、排队时间和每个会话的速度必须一起算。

🌐 Reflection准备发布开放权重模型，先瞄准企业私有部署

基础模型 / 公司战略 / 待证实 · 7.8/10 · 持续观察

Axios 10 月 4 日报道，获得 NVIDIA 支持的 Reflection 准备发布首个有竞争力的开放权重模型。报道援引消息人士称，它可能接近领先的中国开放权重模型，但暂时追不上美国最强的闭源模型。Reflection 发言人拒绝评论；截至本期成稿，新模型的权重、技术报告和许可都还没有公布。

比“又有一家做模型”更具体的，是 Reflection 想把模型交给企业自己部署。公司官网写明，计划开放权重、研究报告和配套软件。Axios 描述的 AI factory 是另一层产品：机构把模型放在自有算力上，再用保密数据定制系统。若这一套真正落地，企业采购的就不只是按量调用的模型接口，还可能是能够长期控制的数据、模型和运行环境。

目前可核实的是公司的方向和媒体披露的准备工作，不能把计划写成已经发布，更无法判断实际能力或成本。正式上线后最值得核查的不是宣传榜单，而是权重能否下载、允许怎样商用、企业要投入多少算力，以及用内部数据改造后是否真的优于现成 API。

近期补看

⚠️ 前安全报告负责人离开OpenAI，要求给高能力模型增加多层防护

Agent安全 / 机构治理 / 近期补看 · 8.2/10 · 建议读原文

David Robinson 10 月 3 日在《大西洋月刊》撰文，说自己已从 OpenAI 辞职。他称曾起草公司现行的 Preparedness Framework，并监督 12 次前沿模型发布的安全报告。他的核心批评不是某一个模型又出了什么新问题，而是实验室依靠快速迭代、发现漏洞再补措施；模型越能自主行动，这种工作方式的失误代价就越高。

文章引用了已公开的 Hugging Face 事故和训练中的联网限制被绕过的事件。Robinson 认为，面对高能力模型，应像航空或核电设施那样设置多层独立防护：一处监控或人为判断失效，另一层仍能阻止事态扩大。这个观点真正可检验的部分是组织如何分配停训权、怎样隔离运行环境，以及异常发生时有没有自动制动，而不是把“安全文化”当成一句口号。

这是离职者的第一手观点，不等于其所有归因都已得到独立验证。OpenAI 发言人向 TechCrunch 回应称，公司会在必要时暂停训练或推迟模型，并正加强研究环境安全、第三方评估和实时监控。外界下一步能观察的是这些措施是否有可核查的执行记录，而不只是双方谁的表述更强硬。

今天的主线

Strata 把大型模型的服务能力放进一台本地机器，但同机多用会争抢缓存和速度；Reflection 想让企业掌握模型、数据与算力，但产品仍在等待正式发布；Robinson 则追问模型开始自主行动后，谁能在第一道控制失效时叫停它。

三条消息分别发生在开源工具、商业模型和实验室安全流程上，说的是同一个实际问题：把 AI 系统交到谁手里运行，需要付出什么资源，以及失控时有没有人和机制能收住。只有 Strata 的新版本现在可以下载复测；Reflection 仍是发布前的报道，Robinson 提出的是需要落实和检验的安全主张。