DeepSeek把核心算子移到昇腾:同一接口背后重写硬件路径
开源项目 / 推理基础设施 / 算力 · 9/10 · 建议看代码
DeepSeek 9月30日公开DeepGEMM-Ascend等昇腾组件,还提供处理混合专家模型通信的DeepEP-Ascend及稀疏注意力实现说明。DeepGEMM在Python接口上尽量与原版兼容,但底层矩阵乘需要适配昇腾的内存布局、指令和流水线;DeepEP则要解决专家之间的数据分发与回收。真正可复用的是上层调用方式,硬件最难的部分仍要原生重写。
这比公布一份“模型可在昇腾上运行”的脚本更具体。大模型搬到另一套芯片时,矩阵乘、注意力、专家通信往往决定吞吐;一个环节慢,整套系统就慢。公开源码和测试意味着外部工程师至少能检查实现、按自己的模型形状测量,再决定是否接入。DeepGEMM的README称,在Ascend 950DT、CANN 9.20和指定大矩阵形状下,部分密集矩阵乘达到理论硬件峰值的99.8%。这只是项目方的算子级测试,不等于完整模型在所有昇腾设备上达到同等利用率。
还有一个部署边界容易被忽略:DeepEP仓库说明,部分带宽数字使用供应商提供的PoC硬件开发包和手动配置;相应商业版本当时尚未公开。因此,这次开源的价值是把关键实现和接口公开给生态验证,而不是宣布跨硬件迁移已经没有工程成本。