Agent Lightning v1.0: A 3,500-Line Lightweight Agentic RL Framework for Training Agents with Real Harnesses

微软开源 Agent Lightning v1.0，约 3,500 行代码让部署中的 harness 直接参与 RL

微软亚洲研究院开源Agent Lightning v1.0，提出Harnessed Agentic RL：部署所用agent harness经LLM proxy直接参与强化学习，免去在训练框架内重建agent循环。框架约3,500行，含API网关、rollout控制器与基于verl的训练器，原生以Kubernetes jobs运行agent，不用商业沙箱。针对重分词与样本合并、优势计算、损失归一化、后端调度，Collocated Async RL让rollout和更新共享GPU，报告相对同步RL约2x加速；在SWE-smith、mini-SWE-agent与Qwen3.5-9B上，约6,000样本使SWE-bench Verified的Pass@1从41.8%升至56.4%，rollout级优势与归一化优于sample级。用户把现有agent的model endpoint指向该代理即可接入训练，全流程开源可复现。

1. 1框架仅约 3,500 行代码，含三个核心组件
2. 2Qwen3.5-9B 在 SWE-bench Verified 上从 41.8% 升至 56.4%
3. 3Collocated Async RL 相对同步 RL 端到端 约 2x 加速

为什么重要　不必在训练框架里重写 agent：改模型端点和 K8s 作业即可接入；SWE-bench 提升 14.6 点且只用 6,000 样本适合　做 agent 训练与 RL 基础设施的工程师、研究者

来源

microsoft.com

发布

2026/10/08

作者

Zhiyuan He, Yuqing Yang