Perplexity让大小模型共用图文检索索引

开源模型 / 多模态检索 · 8.6/10 · 建议动手验证

Perplexity发布pplx-embed-v2-late系列，并放出了0.6B和9B两套权重。它要检索文字、图片和整个网页页面，又不想把一张复杂图片先强行概括成一句话。做法是保留多个局部向量，等查询到来时再进行“后期交互”：问题中的不同部分可以对上页面里的不同区域。

最有意思的是大小模型共用一个空间。较大的模型可以在离线阶段认真给资料建索引，较小的模型负责在线处理搜索问题。这样，查询速度和索引质量不必由同一个模型绑死。Perplexity称它以18B教师模型蒸馏训练这两套模型，并在跨领域测试里，报告“大模型建库、小模型查询”比小模型两端都做高1.6个百分点。10月7日16:30 UTC的官方论坛公告落在本期窗口内。

代价不能忽略：多向量意味着更大的索引和更多匹配计算；1.6个百分点也是厂商自测，真实中文页面和图片要另测。它与前一天介绍的Google EmbeddingGemma 2并不是同一个故事：Google强调多模态、端侧和单向量统一空间；Perplexity强调保留局部细节，以及大小模型在在线与离线阶段分工。