TokenRouter：让大小模型按词接力的推理系统

TokenRouter: Efficient Serving System for Token-Level LLM Routing

TokenRouter将逐词路由策略与运行时调度分开，为不同模型维护异步服务与缓存，并用延迟聚批降低频繁交接的空转。作者在指定Qwen模型、A100服务器及五种策略下报告解码吞吐提升；不能外推为普遍API成本降幅。论文10月8日提交，本期补看。

首次公开：2026-10-08 · 收录：2026-10-12

相关期次：2026-10-12 精选

阅读笔记

逐词路由在一个答案中频繁交给不同大小的模型，传统单模型批处理会因交接与同步空转。TokenRouter以route/send/receive接口承接策略，运行时为每个模型设置异步子服务和独立KV缓存，并用延迟聚批降低入队等待。论文在五种路由策略、三类负载和指定Qwen组合上报告相对所选基线2.01–64.15倍解码吞吐；实验依赖8张A100-80G，不应外推到跨云API或普遍省钱。代码已公开。本期补看，首稿10月8日16:21 UTC。

原文：https://arxiv.org/abs/2610.12242
本期资料页：https://www.asteronline.cn/juju-radar/2026-10-12/
AI辅助整理。

笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。