TokenRouter让大小模型按词接力，推理系统怎么跟上

推理基础设施 / 模型路由 · 8.6/10 · 建议深挖

《TokenRouter》在10月8日提交，研究的问题比“给每道题选一个模型”更细：同一条回答写到某个词时，小模型不确定，就临时交给大模型；大模型补完难处，再把后续交还小模型。这类逐词路由已有算法，但真正同时服务许多用户时，请求会在几台速度不同的模型之间频繁来回。若整批请求等最慢的模型，GPU会空转；若一有请求就启动计算，晚到的词又得等下一批。

作者把“何时交接”留给路由算法，把“怎样高效执行”交给运行时。开发者只需定义路由、发送和接收三个动作；系统为每台模型保留独立的调度器与缓存，让它们异步运转。收到零散请求时，运行时还会短暂等一等，把去往同一模型的词凑成一批。这个看似增加等待的做法，在论文测试的负载中反而减少了反复错过批次造成的总等待。交出去又回来的请求也能接着原来的状态跑，不必每次重建缓存。

论文在五种逐词路由方法、三类负载与指定模型组合中，报告相对所选基线的解码吞吐提升为2.01至64.15倍；代码和配置已公开。这个区间不能读成“你的API费用能降64倍”：实验使用8张A100-80G，主要让Qwen3-0.6B与32B在同一套服务系统内协作；基线中也有未做连续批处理的官方实现。它证明的是逐词路由除了选模型，还需要专门的调度系统。若模型藏在不同云端API后面、拿不到词级状态和缓存控制，论文中的交接方式不能直接照搬。