arxiv.org·2026/10/22
针对LLM agent在真实环境中常遇其他用户、服务变化或突发状况,而现有训练环境多为静态、计划易被外生事件推翻的问题,DynaWeave将已有可执行静态任务自动改写为可验证动态场景:它生成任务需求、环境状态、外部信息等外生事件,用DAG组织依赖,由执行引擎按动作完成、虚拟时间或随机条件触发,并让动态验证器只修订实际发生事件影响的检查、保留其余要求。作者用它在36个环境收集2095条验证轨迹,微调Qwen模型,再在Gaia2、CostBench、ToolMaze上评测;作者报告各尺寸Qwen模型在各基准均提升,其中最小模型在CostBench任务完成率提升67.34个百分点,混合事件来源对完成与恢复最有利,但面对无显式错误的错误工具结果和需把握时机的响应仍不足,且轨迹增多后收益递减。
为什么重要 提供把存量静态任务集转成可验证动态训练数据的完整管线(事件生成、DAG 调度、验证器改写),代码开源,可直接接入自家 agent 数据闭环。适合 做 agent 训练数据合成与 SFT 数据闭环的工程师
大语言模型(LLM)智能体越来越多地使用工具在有状态的环境中完成任务。然而,除智能体自身动作引起的变化外,许多训练环境基本保持静态,而真实环境中由其他用户、服务引入的外部事件或突发状况可能使正在进行的计划失效。为弥补这一空白,我们提出 DynaWeave,一个将现有静态任务转换为可验证动态场景的自动化合成框架。
该框架生成与每个任务相关的外生事件,涵盖任务需求、环境状态和外部信息的变化。它使用有向无环图(DAG)表示事件之间的依赖关系,并借助执行引擎在智能体交互过程中激活这些事件。动态验证器仅修改受实际发生事件影响的评估检查,并保留其余所有检查。
借助 DynaWeave,我们在 36 个环境中收集了 2,095 条经过验证的交互轨迹,并将其用于 Qwen3.5 模型的监督微调。在 Gaia2、CostBench 和 ToolMaze 上的实验表明,DynaWeave 在全部三个受评模型规模上均取得一致的总体性能提升,将 CostBench 上的任务完成率提高了 67.34 个百分点,甚至在 ToolMaze 上超越了 Gemini-3.1-Pro-Preview 的表现。
这些结果支持将动态场景合成作为训练智能体适应变化环境的实用方法。我们的代码可在 https://github.com/Miaow-Lab/DynaWeave 获取。
Large language model (LLM) agents increasingly use tools to complete tasks in stateful environments.
However, many training environments remain largely static apart from changes caused by the agent's own actions, whereas external events introduced by other users, services, or sudden contingencies in real environments can invalidate ongoing plans.
To address this gap, we introduce DynaWeave, an automated synthesis framework that transforms existing static tasks into verifiable dynamic scenarios.
The framework generates exogenous events relevant to each task, covering changes in task requirements, environment state, and external information.
It uses directed acyclic graphs (DAGs) to represent dependencies between events and an execution engine to activate them during agent interaction.
A dynamic verifier revises only the evaluation checks affected by events that actually occur and retains all other checks.
Using DynaWeave, we collect 2,095 verified interaction trajectories across 36 environments and use them for supervised fine-tuning of Qwen3.5 models.
Experiments on Gaia2, CostBench, and ToolMaze show that DynaWeave achieves consistent improvements in overall performance across all three evaluated model sizes, increasing the task completion rate on CostBench by 67.34 percentage points and even exceeding the performance of Gemini-3.1-Pro-Preview on ToolMaze.
These results support dynamic scenario synthesis as a practical approach to training agents to adapt to changing environments. Our code is available at https://github.com/Miaow-Lab/DynaWeave.
2B 完成率
CostBench 术语解释Task Completion Ratio,正确完成任务的任务占比
9B 综合分
ToolMaze Avg
9B 成本差
CostBench Cost Gap
4B 无效调用
CostBench 术语解释Invalid Tool-Use Ratio,无效工具调用的百分比
注释 · 均为论文表 1 报告的微调前后对比出自 表 1
注释 ·

EVIDENCE / METHODS
表格
9B 微调后 ToolMaze 32.28 超 Gemini-3.1-Pro-Preview 的 32.19
| 模型 | Gaia2 Overall | ToolMaze Avg |
|---|---|---|
| GPT-5.5 | 56.4 | 35.94 |
| Gemini-3.1-Pro-Preview | 52.0 | 32.19 |
| GLM-5.1 | 50.5 | 32.28 |
| GPT-4o | 7.4 | 31.29 |
| Qwen3.5-9B 基线 | 4.6 | 30.59 |
| Qwen3.5-9B+DynaWeave | 8.5 | 32.28 |
注释 · Gaia2 Overall 与 GPT-5.5 的 56.4 差距仍悬殊(9B 微调后 8.5)出自 表 1
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。