模型按词接力，视频检索追溯证据

约 2,200 字 · 阅读约 8 分钟

Juju Radar · 2026 年 10 月 12 日

本期导读

今天补看三篇10月8日前后公开、此前没有纳入本栏目的研究。它们分别回答三个实际问题：一条回复里如果要不断切换大小模型，GPU怎样不被交接拖慢；检索视频和多张图片时，答案里的每个事实怎样找到对应画面与网页；Agent玩过几轮陌生游戏后，究竟记住了规则，还是把一次偶然失败误写成了规则。

⚙️ TokenRouter让大小模型按词接力，推理系统怎么跟上

推理基础设施 / 模型路由 · 8.6/10 · 建议深挖

《TokenRouter》在10月8日提交，研究的问题比“给每道题选一个模型”更细：同一条回答写到某个词时，小模型不确定，就临时交给大模型；大模型补完难处，再把后续交还小模型。这类逐词路由已有算法，但真正同时服务许多用户时，请求会在几台速度不同的模型之间频繁来回。若整批请求等最慢的模型，GPU会空转；若一有请求就启动计算，晚到的词又得等下一批。

作者把“何时交接”留给路由算法，把“怎样高效执行”交给运行时。开发者只需定义路由、发送和接收三个动作；系统为每台模型保留独立的调度器与缓存，让它们异步运转。收到零散请求时，运行时还会短暂等一等，把去往同一模型的词凑成一批。这个看似增加等待的做法，在论文测试的负载中反而减少了反复错过批次造成的总等待。交出去又回来的请求也能接着原来的状态跑，不必每次重建缓存。

论文在五种逐词路由方法、三类负载与指定模型组合中，报告相对所选基线的解码吞吐提升为2.01至64.15倍；代码和配置已公开。这个区间不能读成“你的API费用能降64倍”：实验使用8张A100-80G，主要让Qwen3-0.6B与32B在同一套服务系统内协作；基线中也有未做连续批处理的官方实现。它证明的是逐词路由除了选模型，还需要专门的调度系统。若模型藏在不同云端API后面、拿不到词级状态和缓存控制，论文中的交接方式不能直接照搬。

🔎 OneSearch-VL把图片线索、网页证据和答案连起来

多模态Agent / 视觉检索 · 8.5/10 · 建议看论文与公开工件

问一段视频里的人物是谁，模型可以截一帧、搜网页、给出名字。难题从这里才开始：如果答案还要比较两段镜头、计算出现次数，或把画面里的物体与网页上的事实合在一起，仅保存一句“搜索过了”无法核对推理过程。《OneSearch-VL》在10月8日提交，给这种检索过程做了一张“视觉证据图”：节点记录画面中的具体区域、视频帧、网页事实，连线写明答案怎样由它们比较、拼接或计算出来。

这张图不只是写给读者看的引用。团队先用它构造多图和视频问题，筛掉证据链不完整的训练轨迹；训练时又用它检查Agent有没有找到必要事实、有没有看对画面；评测时则把任务分成查找、跨帧连接、计数、运算等动作。这样，同一个8B模型既可以查单图，也可以在多张图和视频里寻找线索。研究者公开了权重、数据集和训练/推理代码，其中多图基准有301题，视频基准有307题。

作者报告，在团队新建的多图和视频基准上，OneSearch-VL-8B分别比可调用工具的Qwen3-VL-8B高20.2和17.6个百分点。这里真正值得继续检验的，是证据图能否减少“答案对了却引用错画面”的情况，而非只盯总分。两个主要基准由作者自行构建，检索还依赖会变化的外部网页；论文也承认自动构图和模型评分可能有误差。HF模型页有可下载权重，但目前没有模型卡，复用前还需核对权重许可与依赖服务。

🎮 Learn2Play测Agent会不会从试错里学到规则

Agent评测 / 经验学习 · 8.3/10 · 持续观察

常见Agent测试把任务规则写进说明书，模型可能只是把会做的题又做了一遍。《Learn2Play Bench》换成20种新设计的文字游戏：规则藏起来，有些还故意违背直觉。Agent要玩几轮，从动作与反馈中推断规则，再拿后来几轮验证。论文10月6日有初稿，10月8日修订；公开仓库提供20个游戏模板，读者可自己玩，但它目前是匿名评审用的代码快照，不含全部人类玩家记录。

有意思的结果是，“把经验总结成几条心得”不一定比留下原始试错记录好。作者在相同模型下比较多种记忆方式：完整保留以前的行动和反馈，在Kimi K3的比较中领先；另一些总结式方法会把尚不确定的猜测当成规则。论文举的宝石组合游戏里，一次失败被归纳成“许多组合都不该再试”，其中恰有本来能成功的组合。记录原始证据，会给Agent推翻自己旧判断的机会；过早压缩则可能把误判固定下来。但完整历史也更占上下文，不能因此断定它总是最好的记忆方案。

这篇论文还提醒我们，模型能力与Agent外壳都影响表现。同一底座换不同运行框架，成绩和成本都会变；有些模型分数高，未必最会随练习进步。人类Top-1选手的最高分高于测试Agent，但Agent在某些平均分指标上更高，不能概括为谁全面胜出。更稳妥的用法，是拿这20种游戏检查自己的Agent：它失败后是否换了假设，还是只会把第一轮的猜测写成一条永远不改的规则。

本期主线

这三篇论文分别处理推理、检索和学习，却碰到同一种工程难题：最终答案之外的过程怎样留得住、改得动。TokenRouter把每一次模型交接交给系统调度；OneSearch把画面与网页之间的取证关系写成图；Learn2Play则让过去的行动和反馈能被重新查看。若只盯最终答对多少题，很容易看不见GPU在交接时空转、答案引用了错误画面，或Agent把一次失败当成永久规则。