arxiv.org·2026/10/26
工具调用型LLM智能体在Model Context Protocol故障下缺乏可控评测。论文提出MCP-Injector:透明拦截MCP工具调用、无需改代理或工具的中间件,按permanent、transient、intermittent注入内容与时序故障,并用开源MCP事故线程校准档案生成可复现调度。在MCP-Bench全因子实验中,不同规模gpt-oss与MCP-Bench plan-and-execute、OpenAI Agents SDK、LangChain编排栈分别在无故障、空代理和校准故障下运行。作者报告:相对空代理,校准的偏permanent压力档案使任务完成分下降60%,从8.08降至3.23,常见是部分退化而非失败;较大gpt-oss未保留更高无故障分数,故障下完成率描述性更低,证据提示框架级错误处理可能比模型规模更关键。局限包括LLM评审噪声、GitHub报告偏差、单一模型家族和单服务器任务,透明拦截层也可能被路径攻击者滥用,应限于预部署压力测试。
为什么重要 做 MCP 工具集成或智能体上线的团队,应把故障注入并入评估;框架级错误处理比盲目换大模型更能决定韧性。适合 智能体工程、MCP 工具集成、可靠性测试与推理部署工程师。
LLM 智能体越来越依赖通过 Model Context Protocol (MCP) 暴露的外部工具,但当前基准假设工具能够正确且及时响应,使智能体对真实工具故障的韧性未经检验。我们引入了 MCP-Injector,一个即插即用、协议感知的故障注入中间件,它在 MCP 工具调用路径上进行拦截,并提供受控持久性(永久、瞬时、间歇)和可设定种子的调度。
其故障模型基于公开 MCP 生态中观察到的事件分布(故障模式 × 持久性)进行校准,这些事件来自对 1,774 个开源 MCP 仓库中 57,240 个 issue 和 pull-request 线程的挖掘。在一个包含 1,350 个单元实验中,我们交叉了两种骨干规模(20B、120B)、三种智能体栈(custom multi-round plan-and-execute、OpenAI Agents SDK、LangChain)以及三种故障注入条件。
我们发现,来自这种以永久故障为主的压力配置的故障会导致严重质量退化(任务完成分数下降 60%,从 8.08 降至 3.23,满分 10),并且对于我们测试的两个 gpt-oss 骨干而言,规模并不能带来故障容错:120B 在故障下保留的无故障分数比例并没有更大(resilience-ratio 模型,p=0.96),其在故障下的完成率甚至更低(91.1% 对 95.6%;差异 4.4 个百分点,95% CI [−0.2,9.3])。不同智能体栈在吸收故障方面的表现存在差异,这表明框架级错误处理比模型规模更重要。
这些结果表明,仅靠能力基准可能掩盖运行时脆弱性,并促使协议感知故障注入成为工具调用智能体的一个补充评估维度。
LLM agents increasingly rely on external tools exposed via the Model Context Protocol (MCP), yet current benchmarks assume tools respond correctly and on time, leaving agent resilience to realistic tool failures untested.
We introduce MCP-Injector, a drop-in, protocol-aware fault-injection middleware that interposes on the MCP tool-call path with controlled persistence (permanent, transient, intermittent) and seedable schedules.
Its fault model is calibrated to the observed incident distribution (failure mode x persistence) of the public MCP ecosystem, mined from 57,240 issue and pull-request threads across 1,774 open-source MCP repositories.
In a 1,350-cell experiment crossing two backbone sizes (20B, 120B), three agent stacks (custom multi-round plan-and-execute, OpenAI Agents SDK, LangChain), and three fault injection conditions, we find that faults drawn from this permanent-heavy stress profile cause severe quality degradation (task-completion score falls by 60%, from 8.08 to 3.23 out of 10), and that scale does not purchase fault tolerance for the two gpt-oss backbones we test: the 120B retains no larger share of its fault-free score under faults (resilience-ratio model, p=0.96), and its completion rate under faults is, if anything, lower (91.1% vs. 95.6%; difference 4.4 points, 95% CI [−0.2,9.3]).
Agent stacks differ in how well they absorb faults, which suggests that framework-level error handling matters more than model scale.
These results demonstrate that capability benchmarks alone can mask operational brittleness, motivating protocol-aware fault injection as a complementary evaluation dimension for tool-calling agents.
挖掘线程
英语分类集
MCP仓库
2025-09 采集
实验单元
全因子设计
永久故障
间歇 8.0%,瞬态 0.75%
部分退化
450 OPP cells
出自 §4, §5.2
出自 §4 Profile synthesis



EVIDENCE / METHODS
判断
120B 在故障下完成率 91.1%,低于 20B 的 95.6%,但差距 CI 跨零。
韧性比率模型给出 βmodel=−0.009,p=0.96,120B 保留的 fault-free 分数份额不比 20B 高。完成率差 4.4 个百分点,95% CI [-0.2,9.3],作者只作描述性结论。可能解释:120B 每 cell 故障暴露 4.6 次 vs 20B 3.9 次,且 OP0 输出更长(2,063 vs 1,711 tokens)。
出自 §6.3
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。