Edge0-AI/Edge0
MoE 每次只用一部分参数,但通常仍要把整套权重放进内存。Edge0 把专家权重留在 SSD,提前预测下一层会用哪些专家,在当前层计算时先读进来。它直接采用预测的路由,再用额外训练的 LoRA 补偿量化和路由变化带来的损失;这不是给任意模型装上一个无损加速开关。
仓库状态可能随时间变化,开放范围与使用条件请查看项目自身的许可证和说明。
MoE 每次只用一部分参数,但通常仍要把整套权重放进内存。Edge0 把专家权重留在 SSD,提前预测下一层会用哪些专家,在当前层计算时先读进来。它直接采用预测的路由,再用额外训练的 LoRA 补偿量化和路由变化带来的损失;这不是给任意模型装上一个无损加速开关。
仓库状态可能随时间变化,开放范围与使用条件请查看项目自身的许可证和说明。