35B模型放进硬盘：Edge0 的“3GB内存”要加上条件

本地推理 / 开源 · 8.5/10 · 建议深挖

MoE 每次只用一部分参数，但通常仍要把整套权重放进内存。Edge0 把专家权重留在 SSD，提前预测下一层会用哪些专家，在当前层计算时先读进来。它直接采用预测的路由，再用额外训练的 LoRA 补偿量化和路由变化带来的损失；这不是给任意模型装上一个无损加速开关。

论文在24GB内存的 Mac mini M4 Pro 上，报告35B版本约20 token/秒、峰值活跃内存2.9GiB。这里统计的是短上下文下 MLX 分配器的活跃内存，权重仍占约19.5GB硬盘，系统页缓存和其他开销不能忽略。不能据此说，一台总共只有3GB内存的电脑就能获得同样结果。

质量也有代价：35B版本在五个基准上的平均成绩比原始 FP16 模型低约4分，AIME 低6.1分。当前实现面向 Apple Silicon，一次处理一个请求，CUDA 尚未实现。论文16日提交、17日公告；模型和配套适配器已可下载，本期未在本机复现。

如果你关心普通电脑能用上多大模型，这篇比一张速度榜更有参考价值。它给出的是存储、内存和质量之间的一种交换，尤其要看冷启动、长上下文和多任务下是否仍划算。