Google把图文音视频放进一个可本地运行的检索模型

开源模型 / 多模态检索 · 8.8/10 · 建议动手验证

Google 发布 EmbeddingGemma 2并开放权重。它把文字、代码、图片、视频和音频都映射到同一个 768 维向量空间。所谓“嵌入”，是把内容变成可比较的数字坐标：用户输入一句“找那段讲雨天跑步的视频”，系统可以按语义相似度检索视频片段，而不必先给每帧写文字说明。这个模型输出的是用于检索的向量，不是直接回答问题的聊天模型。

更实用的是它把编码器做成可选模块。完整模型 7.4 亿参数；只处理文字时可只载入约 2.7 亿参数，需要图像或音频再加相应部分。Google 在 Pixel 11 Pro 上报告量化后纯文本活动内存约 191MB、全模态约 567MB，还允许把 768 维向量截到 512、256 或 128 维，降低本地索引占用。权重以 Apache 2.0 发布，开发者现在就能在私有相册、语音笔记或代码库上测试离线检索，而不用把原始资料都上传云端。

它不是把任何媒体“一压缩就懂了”。官方的代码检索和多模态基准仍需在真实中文材料、长视频和不同设备上复测；模型卡特别提示，截到 128 维会明显伤及部分多模态质量，直接用 float16 还可能产生 NaN 或不易察觉的劣化。部署时应先量自己的召回率和内存，而不是照搬厂商单台手机的数字。