arxiv.org·2026/10/21
LLM路由需低成本选对模型，但专用router随模型池和任务变化需更新；COMPASS把各模型在各任务上的结果与成本存入外部评估语料，由现有LLM按routing recipe调用工具收集证据、可预览候选答案后选择或放弃，新模型只需插入记录而无需训练路由权重。在LLMRouterBench上，COMPASS以69.85%精度超过RLCascadeRouter的69.14%，模型调用成本更低；在DeepSWE交叉验证中达78.1%，优于最佳单模型的74.1%，成本$215。跨基准用TerminalBench证据路由DeepSWE未显著超过最佳单模型；扩大模型池后精度与花费同改善，权重与prompt不变。匿名模型别名对精度影响很小，路由LLM选择对花费影响大于精度，局限在证据采集成本、分布依赖与路由推理开销。
为什么重要 对做多模型路由与成本优化的工程团队：新增模型只插评估记录、不改路由权重，免去重训；但收益受评估语料覆盖与路由推理开销约束。适合 适合多模型路由、LLM 成本优化、Agent 工具编排工程团队
LLM routing 旨在以低成本选择一个有能力的模型，但专用路由器可能需要随着模型和任务变化而更新。我们提出了 COMPASS，一个 agentic router，其中 LLM 遵循路由配方，通过工具收集性能和成本证据，并在选择模型前可选地检查候选答案。
我们在 LLMRouterBench 和 DeepSWE 上的评估表明，相较于专用和经过训练的路由基线，agentic routing 可以在无需路由特定训练的情况下提高准确率并降低模型调用成本。在 LLMRouterBench 上，COMPASS 以 $139.57 达到 69.85% 准确率，而 RLCascadeRouter 以 $180.22 达到 69.14%。
在固定 five-fold 交叉验证下的 DeepSWE 上，它以 $215 达到 78.1%，而最佳单一模型以 $500 达到 74.1%。COMPASS 还支持跨基准路由，并通过读取新的评估记录来适应扩展的模型池，而无需更改路由器的权重或 prompt。
LLM routing aims to select a capable model at low cost, but specialized routers can require updates as models and tasks change.
We propose COMPASS, an agentic router in which an LLM follows a routing recipe, gathers performance and cost evidence through tools, and optionally inspects candidate answers before selecting a model.
Our evaluations on LLMRouterBench and DeepSWE show that agentic routing can improve accuracy and lower model-call cost relative to specialized and trained routing baselines, without routing-specific training.
On LLMRouterBench, COMPASS reaches 69.85% accuracy at \∗∗139.57∗∗,comparedwithRLCascadeRouter′s∗∗69.14180.22.
On DeepSWE under fixed five-fold cross-validation, it reaches 78.1% at \215,comparedwith∗∗74.1500 for the best single model.
COMPASS also supports routing across benchmarks and adapts to an expanded model pool by reading new evaluation records, without changing the router's weights or prompt.
新池模型数
新池花费
路由模型差
DeepSeek花费
Luna实名选择
注释 · 路由模型只影响花费 22%，精度差 0.86/1.15 点；实名让 Luna 改了 19% 选择。出自 §5.6 / §5.7
注释 · FrugalGPT 72.8%、Avengers-Pro 69.9%；误差线为 95% task-bootstrap CI，跨小样本较宽。出自 §5.3 图3a
EVIDENCE / METHODS
解读
COMPASS 把模型成绩/成本放进评估语料库，只靠现成 LLM 工具调用做决策，无路由权重训练。
COMPASS 给现有 LLM 一个 术语解释预定义的目标、工具顺序和选择规则，供路由智能体遵循、评估语料 E、候选列表和偏好 α∈[0,1]；每个 query 下读取相似任务、邻居结果与可靠性表，可选预览答案，最后提交 (m,e)、证据和置信度。4–16 次工具调用上限；预计算表把每任务调用从 6 次降到 2–3 次。形式化的目标是：在满足完成概率 s(x,m)≥ρ 的候选里最小化期望推理成本 κ(x,m)。
注释 · 新增模型只需插入评估记录与候选列表；语料存每次 attempt 的结果、成本、token 和输出。出自 §1 / §4
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。