Google把端侧GPU推理引擎单独开源

端侧推理 / 开源基础设施 · 8.9/10 · 建议技术读者关注

Google在10月8日开源ML Drift，它是LiteRT所用的GPU加速引擎，也能作为独立库使用。代码仓库采用Apache 2.0许可。手机、浏览器和桌面的GPU接口与内存布局各不相同，开发者通常得为不同后端分别维护着色器；ML Drift把张量的逻辑形状与实际GPU存储解开，在初始化时生成适合各后端的着色器。这个变化直接影响新算子能否较快部署到多种设备，而不是只改一个跑分。

它还有几项很实用的工程选择：支持复杂视频或空间模型需要的5维张量；让语言模型在读入提示的prefill阶段和逐词生成的decode阶段切换执行布局；提供自定义GPU算子的接口。Google称这套引擎已用于Chrome、相册、Meet等产品，并报告YouTube Shorts某些分割特效的平均单帧延迟最多降低40%。这些都是特定产品和模型的厂商数据，不能推断任意手机上的任意大模型都快40%。桌面WebGPU支持仍以预览为主。

值得注意的是平台位置：Google说旧TFLite GPU delegate将不再获得新特性。对已有端侧应用，这意味着未来模型架构的支持会向ML Drift迁移；对想在本地跑模型的开发者，真正该看的是自己的设备、功耗、内存和兼容性，而不是仓库首页一句“高性能”。