Meta开放Muse Spark，816B模型怎样在多台Mac上跑

前沿模型 / 本地推理 · 9/10 · 建议深挖

Muse Spark Open支持文本、图像、音频和视频输入，输出文本，上下文上限为100万词元。模型库已经列出真实权重分片，接受Muse许可条款后才能下载。它采用混合专家架构，每步只调用部分专家；42B是活跃计算规模，部署仍要容纳816B模型的全部专家。

Apple的实测给出了一个具体方案：MLX利用雷雳连接上的远程直接内存访问，让多台Mac分担计算。4台M5 Ultra Mac Studio运行NVFP4版本，在8,192词元输入、生成128词元、单请求的条件下，解码约36.73词元/秒，首词元等待约4.8秒。这是特定高内存配置的测试，普通单台Mac不能据此照搬。

多机并不天然更快。张量并行需要各台机器在每一层反复交换数据，通信延迟会抵消节省的计算；长提示的处理阶段，结果还会随并行方式变化。这个发布值得读的地方，是把权重、运行框架和互连条件一起摆到了台面上：大型稀疏模型能否私有部署，取决于内存容量与通信，而不只看每步用了多少参数。

目前的速度测试也没有回答完整Agent任务要跑多久。它不包括工具执行、失败重试和任务正确率。模型使用定制许可，准备部署服务时还需核对相应条件。Hugging Face的集成说明介绍了架构和运行支持。