TY  - UNPB
TI  - The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction
UR  - https://arxiv.org/abs/2609.18063
DO  - 10.48550/arXiv.2609.18063
DA  - 2026-09-16
KW  - Juju Radar
KW  - 待阅读
KW  - 本地推理
KW  - 开源
N1  - Juju Radar · 2026-09-18  MoE 每次只用一部分参数，但通常仍要把整套权重放进内存。Edge0 把专家权重留在 SSD，提前预测下一层会用哪些专家，在当前层计算时先读进来。它直接采用预测的路由，再用额外训练的 LoRA 补偿量化和路由变化带来的损失；这不是给任意模型装上一个无损加速开关。  论文在24GB内存的 Mac mini M4 Pro 上，报告35B版本约20 token/秒、峰值活跃内存2.9GiB。这里统计的是短上下文下 MLX 分配器的活跃内存，权重仍占约19.5GB硬盘，系统页缓存和其他开销不能忽略。不能据此说，一台总共只有3GB内存的电脑就能获得同样结果。  质量也有代价：35B版本在五个基准上的平均成绩比原始 FP16 模型低约4分，AIME 低6.1分。当前实现面向 Apple Silicon，一次处理一个请求，CUDA 尚未实现。论文16日提交、17日公告；模型和配套适配器已可下载，本期未在本机复现。  如果你关心普通电脑能用上多大模型，这篇比一张速度榜更有参考价值。它给出的是存储、内存和质量之间的一种交换，尤其要看冷启动、长上下文和多任务下是否仍划算。  重要度：8.5/10。 原文：https://arxiv.org/abs/2609.18063 本期资料：https://www.asteronline.cn/juju-radar/2026-09-18/ AI辅助整理；未独立复现。PDF为链接附件。
ER  -