Meta开放816B模型，NVIDIA把74B模型压进24GB

约 3,600 字 · 阅读约 12 分钟

Juju Radar · 2026 年 10 月 16 日

本期导读

Meta开放Muse Spark Open权重，Apple展示多台Mac联合推理；NVIDIA把较大的模型压缩进24GB内存预算；FLUX则把本地生图与布局编辑带到更小的模型上。这三条都在回答一个实际问题：模型怎样才能装得下、跑得动。

另外，微软公开了2.8万亿参数模型的训练细节，Mistral推出CPU可运行的时间序列模型。最后看一件与使用者更近的事：记者实测发现，陪伴机器人的对话记录和长期记忆都可能被他人访问、改动。

🧠 Meta开放Muse Spark，816B模型怎样在多台Mac上跑

前沿模型 / 本地推理 · 9/10 · 建议深挖

Muse Spark Open支持文本、图像、音频和视频输入，输出文本，上下文上限为100万词元。模型库已经列出真实权重分片，接受Muse许可条款后才能下载。它采用混合专家架构，每步只调用部分专家；42B是活跃计算规模，部署仍要容纳816B模型的全部专家。

Apple的实测给出了一个具体方案：MLX利用雷雳连接上的远程直接内存访问，让多台Mac分担计算。4台M5 Ultra Mac Studio运行NVFP4版本，在8,192词元输入、生成128词元、单请求的条件下，解码约36.73词元/秒，首词元等待约4.8秒。这是特定高内存配置的测试，普通单台Mac不能据此照搬。

多机并不天然更快。张量并行需要各台机器在每一层反复交换数据，通信延迟会抵消节省的计算；长提示的处理阶段，结果还会随并行方式变化。这个发布值得读的地方，是把权重、运行框架和互连条件一起摆到了台面上：大型稀疏模型能否私有部署，取决于内存容量与通信，而不只看每步用了多少参数。

目前的速度测试也没有回答完整Agent任务要跑多久。它不包括工具执行、失败重试和任务正确率。模型使用定制许可，准备部署服务时还需核对相应条件。Hugging Face的集成说明介绍了架构和运行支持。

⚙️ Nemotron Bolt：先定24GB预算，再决定模型怎么压缩

开放模型 / 推理优化 · 8.5/10 · 建议深挖

NVIDIA发布Nemotron 3.5 Super VL和Bolt。其中Bolt从120B总参数、12B活跃参数的Super VL压缩而来，得到74B总参数、9B活跃参数的版本，目标是在24GB内存预算内运行本地Agent。另一个4GB的E4B版本计划10月23日提供，尚不能算已经发布。

它不是只把数值精度调低。技术说明先用StarElastic搜索各层保留多少专家、采用多宽的中间层，再对主要专家权重做约2比特量化，通过蒸馏和后训练补回损失的能力。部分层仍使用4比特或8比特，不能把整个网络理解成统一2比特。

这条路线改变了模型选择的顺序。面对固定内存，过去往往先选一个装得下的小模型，再量化；Bolt尝试从更强的母模型出发，联合压缩结构和权重。在相同内存预算下，这可能保留更多能力，但代价仍要逐项看。

Artificial Analysis的独立测试就提供了一个反例：Bolt的平均推理输出约8.2万词元，Super约4.6万。内存占用下降，并不保证一项工作消耗的词元或总时间也下降。测试中的云端Super高吞吐数据，和本地Bolt的解码速度也是两组不同条件，不能拼成一个“24GB电脑跑到数百词元/秒”的结论。

🏗️ 微软公开MAI-Base-2训练细节：2.8万亿参数，先解决怎么训

基础模型 / 训练方法 · 9/10 · 建议深挖

微软公布MAI-Base-2的预训练报告。这是总参数2.8万亿、每步激活800亿参数的混合专家模型，用约1.6万块GB200训练了38天。它仍在后训练阶段，本次公开的是训练方法与结果，尚未提供可下载权重。

报告里一个容易被忽略的改动，是让小规模试验也按大模型的比例重复数据。否则，小试验见到的独特样本相对更多，选出的结构和超参数放大后可能更容易过拟合。训练系统则把拥挤专家收到的词元分轮处理，在固定内存内接住负载，避免简单丢掉溢出的词元。

微软估计，相对DeepSeek-V4-Pro-Base，要达到相同评测水平，这套配方所需计算量约为后者的1/4.2至1/12.3。这个数来自内部留出集和拟合曲线，不代表整次训练账单少了相同比例，也不是聊天或Agent能力的领先倍数。报告还把基础模型与部分后训练模型放在一起比较，微软自己也提示了这一差异。

这里更值得追踪的是：数据重复方式、专家调度与优化器能否一起降低扩大训练的试错成本。最终模型好不好用，要等后训练结果和外部测试；现阶段，这份报告更适合拿来研究训练工程。

🎨 FLUX 3 Image Klein开放权重，画面布局也能用框指定

图像生成 / 开放权重 · 8.5/10 · 建议深挖

Black Forest Labs发布FLUX 3 Image Klein：5.6B参数的图像生成器，支持生成、编辑和最多10张参考图。基础版用于微调，蒸馏版减少生成步骤；官方模型库已列出真实权重文件，下载须接受相应条款。5.6B只统计生成器，不包括文本编码器。

它的实用变化是布局控制。Diffusers集成说明展示了怎样在提示中指定区域：把主体放进某个框，或把参考图中的一部分搬到另一个位置。做产品主图、改构图时，位置终于有了比“往左一点”更具体的输入，但指令能否稳定执行，仍需拿自己的图片试。

官方报告，蒸馏版配合INT8，在RTX 5090上生成一张约百万像素图片需要约4秒。这是指定框架与配置下的GPU生成时间；不能拿来承诺所有分辨率、参考图数量和完整服务请求都同样快。质量排名也来自内部比较。

对需要本地改图的人，基础版、蒸馏版和量化版本提供了不同取舍。选型时还要算上文本编码器、参考图和中间计算的内存。权重采用FLUX Kommunity许可，商业使用也有适用条件，不能只凭“开放权重”四个字判断。

📈 Timestral把预测交给数值模型，CPU也能运行

时间序列 / 开源模型 · 8.5/10 · 建议深挖

Mistral发布Timestral，提供5M至209M参数的四个版本。它预测销量、负载、传感器读数等随时间变化的数据，输出21个分位数，让使用者看到预测区间，而不只有一个数字。推理代码已经公开，支持CPU和GPU。

其中一个实用设计，是区分“过去才知道的信息”和“未来已经确定的信息”。例如预测工厂负载时，排班、计划停机和节假日可以提前提供；未来真实负载则不能偷偷送进模型。Timestral通过注意力中的可见范围控制这两类信息，再联合预测相关序列。它还把预测词元与历史上下文分开，避免为了设置预测目标而损失可用历史。

官方给出的8线程CPU例子中，用三周的15分钟间隔历史预测未来一天，5M版本约10毫秒，209M版本约140毫秒。这只适用于所列工作负载。公共榜单结果同样来自发布方报告，完整技术报告尚待发布。

对现有监控系统，这种小型数值模型可能比持续调用聊天模型更合适：它负责连续预测，异常发生后，再让Agent查维修记录、日志和手册。但预测误差是否真的降低、告警是否可靠，仍要在本单位的数据上回测，尤其要检查设备老化或业务变化后的表现。

⚠️ Eiliko机器人被实测泄露对话，连长期记忆也能被改

真实AI事故 / 消费硬件 · 9/10 · 建议深挖

The Verge在15日刊出的调查中，记者用自己购买的Eiliko机器人完成对话后，研究者Sammy Azdoufal很快就读到了完整记录。报道涉及约6.8万台设备、1,300万段对话，以及用户画像、部分照片和音频。这些是报道与研究者给出的可访问范围，不表示每一台设备都已遭第三方入侵。

更直接的演示发生在记忆上：研究者远程改动记者机器人的人物设定和长期记忆，机器人随后把错误信息当成事实告诉使用者。陪伴产品积累的“了解你”，一旦缺少访问控制，也会成为别人影响后续对话的入口；只给模型加回答限制，保护不了存储和配置层。

原始漏洞披露说明，研究发生在6至9月，10月15日公开；其修复状态主要来自9月复测，并非当天重新扫描。The Verge称多次联系公司后仍未获得实质答复，目前不能据此确认问题已修复。报道最有分量的部分，是记者在自己的设备上复现了隐私泄露和行为篡改，而不只是转述一个可能的风险。

今天的主线

模型的参数规模越来越大，部署方法却在分化。Muse Spark靠多机分担内存，Bolt联合压缩结构与权重，FLUX提供基础版和蒸馏版，Timestral则把任务限定在数值预测。对使用者来说，选择哪条路线取决于工作负载：能装下只是起点，还要看提示处理、生成长度、参考输入和整项任务耗时。

本地运行也没有自动解决产品的全部问题。Eiliko事件表明，用户对AI的信任会积累在对话、画像和记忆里；这些数据由谁保存、谁能修改，与模型会不会拒绝危险回答同样具体。下一步既要看模型能做到什么，也要看产品怎样保护已经交给它的信息。