Meta开放Muse Spark,816B模型怎样在多台Mac上跑
多机并不天然更快。张量并行需要各台机器在每一层反复交换数据,通信延迟会抵消节省的计算;长提示的处理阶段,结果还会随并行方式变化。这个发布值得读的地方,是把权重、运行框架和互连条件一起摆到了台面上:大型稀疏模型能否私有部署,取决于内存容量与通信,而不只看每步用了多少参数。
每日 AI 动态、论文和开源项目,附中文解读与原始链接。
多机并不天然更快。张量并行需要各台机器在每一层反复交换数据,通信延迟会抵消节省的计算;长提示的处理阶段,结果还会随并行方式变化。这个发布值得读的地方,是把权重、运行框架和互连条件一起摆到了台面上:大型稀疏模型能否私有部署,取决于内存容量与通信,而不只看每步用了多少参数。
NVIDIA发布Nemotron 3.5 Super VL和Bolt。其中Bolt从120B总参数、12B活跃参数的Super VL压缩而来,得到74B总参数、9B活跃参数的版本,目标是在24GB内存预算内运行本地Agent。另一个4GB的E4B版本计划10月23日提供,尚不能算已经发布。
报告里一个容易被忽略的改动,是让小规模试验也按大模型的比例重复数据。否则,小试验见到的独特样本相对更多,选出的结构和超参数放大后可能更容易过拟合。训练系统则把拥挤专家收到的词元分轮处理,在固定内存内接住负载,避免简单丢掉溢出的词元。
它的实用变化是布局控制。Diffusers集成说明展示了怎样在提示中指定区域:把主体放进某个框,或把参考图中的一部分搬到另一个位置。做产品主图、改构图时,位置终于有了比“往左一点”更具体的输入,但指令能否稳定执行,仍需拿自己的图片试。
其中一个实用设计,是区分“过去才知道的信息”和“未来已经确定的信息”。例如预测工厂负载时,排班、计划停机和节假日可以提前提供;未来真实负载则不能偷偷送进模型。Timestral通过注意力中的可见范围控制这两类信息,再联合预测相关序列。它还把预测词元与历史上下文分开,避免为了设置预测目标而损失可用历史。
更直接的演示发生在记忆上:研究者远程改动记者机器人的人物设定和长期记忆,机器人随后把错误信息当成事实告诉使用者。陪伴产品积累的“了解你”,一旦缺少访问控制,也会成为别人影响后续对话的入口;只给模型加回答限制,保护不了存储和配置层。