Edge0：从SSD读取MoE专家的本地推理
The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction
提前预测路由并读取专家，以LoRA补偿损失。在24GB Mac上35B版本约20token/秒、MLX短上下文活跃内存2.9GiB；整机内存与页缓存另计，当前只支持Apple Silicon。
相关期次：2026-09-18 精选
阅读笔记
Juju Radar · 2026-09-18
MoE 每次只用一部分参数，但通常仍要把整套权重放进内存。Edge0 把专家权重留在 SSD，提前预测下一层会用哪些专家，在当前层计算时先读进来。它直接采用预测的路由，再用额外训练的 LoRA 补偿量化和路由变化带来的损失；这不是给任意模型装上一个无损加速开关。
论文在24GB内存的 Mac mini M4 Pro 上，报告35B版本约20 token/秒、峰值活跃内存2.9GiB。这里统计的是短上下文下 MLX 分配器的活跃内存，权重仍占约19.5GB硬盘，系统页缓存和其他开销不能忽略。不能据此说，一台总共只有3GB内存的电脑就能获得同样结果。
质量也有代价：35B版本在五个基准上的平均成绩比原始 FP16 模型低约4分，AIME 低6.1分。当前实现面向 Apple Silicon，一次处理一个请求，CUDA 尚未实现。论文16日提交、17日公告；模型和配套适配器已可下载，本期未在本机复现。
如果你关心普通电脑能用上多大模型，这篇比一张速度榜更有参考价值。它给出的是存储、内存和质量之间的一种交换，尤其要看冷启动、长上下文和多任务下是否仍划算。
重要度：8.5/10。
原文：https://arxiv.org/abs/2609.18063
本期资料：https://www.asteronline.cn/juju-radar/2026-09-18/
AI辅助整理；未独立复现。PDF为链接附件。
笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。