AI 基础设施 / 论文

TokenRouter: Efficient Serving System for Token-Level LLM Routing

arxiv.org·2026/10/08·Tianyu Fu / Tengxuan Liu 等

内容工具 · 模型与重新生成

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入基于论文全文 3.3 万字 · 完整阅读

TokenRouter 靠 request-centric 接口与异步 subserver，把 token 级路由吞吐提升 2.01–64.15×

TokenRouter 面向 token 级 LLM 路由的服务瓶颈：SGLang、vLLM 等单模型同步批处理在逐 token 换模型时出现步调失同步、批准入延迟和路由改造负担。它把路由逻辑收敛到单请求视角，开发者只实现 route-send-receive，运行时为每个模型建独立 subserver，用跨模型异步循环与 handoff-resume 保留请求和缓存状态，减少前缀匹配及 KV-cache 重分配；对外保持单端点，可替换单模型服务。delayed batching 用吞吐模型求 $B^{*}$ ，平衡等待与批量。实验覆盖 CITER、R-Stitch、Co-LLM、ME 等算法、多模型和推理/代理负载，作者报告较已有实现解码吞吐提升 2.01–64.15×，严格速度 SLO 下较官方实现高 18.58×；几何分布假设外的路由待补。

1route/send/receive 三函数统一五类 token 路由算法
2delayed-batching 阈值 B* 由 DTMC 吞吐模型搜索
3并发 16 时吞吐提升 18.58×，单用户速度仍 1.13×

为什么重要　给 token 级路由算法提供可直接部署的高吞吐 serving 底座，避免改造 vLLM/SGLang 大代码库适合　研究 token 级路由与多模型 serving 的系统、推理框架工程师

来源: arxiv.org
发布: 2026/10/08
作者: Tianyu Fu、Tengxuan Liu、Ruoxi Wang、Yixin Dong 等
社区投票: 145

中文（AI 翻译）

大型语言模型（LLM）路由将推理工作分配到不同模型上，推进了 LLM 服务的成本-质量 Pareto 前沿。虽然会话级或查询级的粗粒度路由已在生产系统中被广泛采用，但近期算法研究表明，细粒度的 token 级路由可以带来显著的效率和质量收益。然而，高效地服务 token 级路由推理对现有系统构成重大挑战。现有系统建立在单 LLM 假设之上，在 token 级路由下会出现严重的步骤失步和频繁的批量准入延迟，并且给开发者带来较高的实现复杂度。

为应对这些挑战，我们设计了 TokenRouter，一个面向 token 级 LLM 路由推理的高效且对开发者友好的服务系统。TokenRouter 遵循 request-centric programming, model-centric execution 的原则：开发者从单请求角度描述路由逻辑，而运行时为每个 LLM 启动一个 subserver 并异步分发请求。每个 subserver 采用 delayed-batching 调度器，其最优超参数由系统的数学吞吐模型推导得出。在多样的路由算法、工作负载和模型对上，TokenRouter 相比现有系统实现了 2.01-64.15x 更高的解码吞吐，显著推进了 token 级 LLM 路由的服务效率。我们的代码可在 https://github.com/thu-nics/TokenRouter 获取。

原文

Large language model (LLM) routing distributes inference work across different models, advancing the cost-quality Pareto frontier of LLM serving.

While coarse-grained routing at the session or query level has been widely adopted in production systems, recent algorithmic work shows that fine-grained token-level routing can yield substantial efficiency and quality gains.

However, efficiently serving token-level routed inference poses significant challenges to existing systems.

Built on single-LLM assumptions, current systems suffer from severe step desynchronization and frequent batch admission delays under token-level routing, and they also impose high implementation complexity on developers.

To address these challenges, we design TokenRouter, an efficient and developer-friendly serving system for token-level routed LLM inference.

TokenRouter follows the principle of request-centric programming, model-centric execution: developers describe routing logic from the perspective of a single request, while the runtime launches a subserver for each LLM and dispatches requests asynchronously.

Each subserver employs a delayed-batching scheduler, whose optimal hyperparameters are derived from a mathematical throughput model of the system.

Across diverse routing algorithms, workloads, and model pairs, TokenRouter achieves 2.01-64.15x higher decoding throughput than existing systems, substantially advancing the serving efficiency of token-level LLM routing.

Our code is available at https://github.com/thu-nics/TokenRouter.

244.56

R2R

官方实现 89.62

149.31

CITER

官方实现 17.16

76.02

Co-LLM

官方实现 3.46

140.58

R-Stitch

官方未开源

注释 · 表 2 还给出 TTFT 与 end-to-end latency；R-Stitch 官方代码未发布出自 §5.2 表 2

0.6B/8B
3.21×
0.6B/32B
2.56×
1.7B/8B
2.76×
4B/8B
1.99×

注释 · 不同 SLM/LLM 规模组合的 TokenRouter vs R2R 吞吐增益出自 §5.3 表 3

图 2 展示 session/query/token 三种路由粒度与 TokenRouter 架构：每个 LLM 由独立 subserver 托管，实现 route/send/receive 并跑 client-server、decodin

图 10 展示 R2R 实测与模型预测吞吐随并发和 LLM 延迟批处理阈值 B1 变化；固定 SLM 阈值 B0=1，星号标出各并发最高吞吐，验证最优化阈值模型

接口: route/send/receive 三函数
基座: 基于 SGLang 构建
GPU 并行: LLM tensor parallel 2

参数清单

实验设置

主模型对 0.6B/32B，ME 引入 3 个模型；硬件为 8×A100-80G + CUDA MPS

算法: CITER、R2R、R-Stitch、Co-LLM、ME
模型对: Qwen3-0.6B/32B；ME 加 8B
硬件: 8×A100-80G，两模型共享 2 GPU
并发: 主评测并发 4
R2R 设置: 官方 router 与阈值
CITER $τ$: 0.98
R-Stitch $τ$: 0.03
Co-LLM $η$: 0.15
ME 权重: 0.5、0.3、0.2

注释 · 并发 4 为主；CITER、R-Stitch、Co-LLM、ME 有各自超参与权重出自 §5.1 Setup

TokenRouter 靠 request-centric 接口与异步 subserver，把 token 级路由吞吐提升 2.01–64.15×

B^{*}

，平衡等待与批量。实验覆盖 CITER、R-Stitch、Co-LLM、ME 等算法、多模型和推理/代理负载，作者报告较已有实现解码吞吐提升 2.01–64.15×，严格速度 SLO 下较官方实现高 18.58×；几何分布假设外的路由待补。

1route/send/receive 三函数统一五类 token 路由算法

2delayed-batching 阈值 B* 由 DTMC 吞吐模型搜索

3并发 16 时吞吐提升 18.58×，单用户速度仍 1.13×

来源

arxiv.org

发布

2026/10/08

作者

Tianyu Fu、Tengxuan Liu、Ruoxi Wang、Yixin Dong 等

社区投票

145

中文（AI 翻译）

原文

Large language model (LLM) routing distributes inference work across different models, advancing the cost-quality Pareto frontier of LLM serving.

However, efficiently serving token-level routed inference poses significant challenges to existing systems.

To address these challenges, we design TokenRouter, an efficient and developer-friendly serving system for token-level routed LLM inference.

Each subserver employs a delayed-batching scheduler, whose optimal hyperparameters are derived from a mathematical throughput model of the system.

Our code is available at https://github.com/thu-nics/TokenRouter.

TokenRouter: Efficient Serving System for Token-Level LLM Routing

TokenRouter 靠 request-centric 接口与异步 subserver，把 token 级路由吞吐提升 2.01–64.15×

摘要

中文（AI 翻译）

原文

并发 4 下的 token/s 吞吐

模型对扩展的吞吐增益

核心图文

TokenRouter 请求路由

关键规格

实验设置

论文原文 · PDF

TokenRouter: Efficient Serving System for Token-Level LLM Routing

TokenRouter 靠 request-centric 接口与异步 subserver，把 token 级路由吞吐提升 2.01–64.15×

摘要

中文（AI 翻译）

原文

并发 4 下的 token/s 吞吐

模型对扩展的吞吐增益

核心图文

TokenRouter 请求路由

关键规格

实验设置

论文原文 · PDF