thu-nics/TokenRouter

收录：2026-10-12

作者把“何时交接”留给路由算法，把“怎样高效执行”交给运行时。开发者只需定义路由、发送和接收三个动作；系统为每台模型保留独立的调度器与缓存，让它们异步运转。收到零散请求时，运行时还会短暂等一等，把去往同一模型的词凑成一批。这个看似增加等待的做法，在论文测试的负载中反而减少了反复错过批次造成的总等待。交出去又回来的请求也能接着原来的状态跑，不必每次重建缓存。

仓库状态可能随时间变化，开放范围与使用条件请查看项目自身的许可证和说明。