TY  - UNPB
TI  - TokenRouter: Efficient Serving System for Token-Level LLM Routing
UR  - https://arxiv.org/abs/2610.12242
DO  - 10.48550/arXiv.2610.12242
DA  - 2026-10-08
KW  - Juju Radar
KW  - 推理基础设施
KW  - 模型路由
KW  - 补看
KW  - 待阅读
N1  - 逐词路由在一个答案中频繁交给不同大小的模型，传统单模型批处理会因交接与同步空转。TokenRouter以route/send/receive接口承接策略，运行时为每个模型设置异步子服务和独立KV缓存，并用延迟聚批降低入队等待。论文在五种路由策略、三类负载和指定Qwen组合上报告相对所选基线2.01–64.15倍解码吞吐；实验依赖8张A100-80G，不应外推到跨云API或普遍省钱。代码已公开。本期补看，首稿10月8日16:21 UTC。  原文：https://arxiv.org/abs/2610.12242 本期资料页：https://www.asteronline.cn/juju-radar/2026-10-12/ AI辅助整理。
ER  -