数据源与状态仍在导航菜单中
arxiv.org·2026/10/15·Hanzhang Zhou / Long Li 等
针对通用计算机使用智能体(GCUA)系统封闭难以复现,OpenGCUA 首次发布开放全栈,将其定义为模型每步自主决定观察、行动与工作组织;核心做法是以代码执行把 GUI、CLI、API 操作写成带条件/循环的程序,并经 harness-to-model 决策转移把截图请求与任务状态维护交给模型。在 OSWorld-v2 离线子集上评估 8 个前沿模型,作者报告完整配置相对批处理 GUI-only 使平均部分得分提高 19.6 分、每任务步数平均减少 53.0%;代码执行相比同接口 GUI+CLI 仍有增益。发布内容包括实现、提示与轨迹,以及初步真实设备 harness 和跨设备 SDK;在 4 个 macOS 任务中,作者报告 Qwen3.8-Max 的推理 token 为 GPT-6 Astra 的 19.4 倍但完成更少,显示真实设备效率差距主要来自模型。本发布未含训练模型,后续路线图指向 GCUA 模型、执行效率与真实设备基准。
为什么重要 代码执行与决策下放的设计可直接搬进自建 computer-use 栈,且已放出 8 个前沿模型的评测轨迹,可用于对比成本与步数。适合 做 computer-use / agent 工程与评测、关注推理成本与真机落地的开发者
计算机使用(computer use)已到达一个转折点:关注点正从仅 GUI 的交互扩展到通过视觉和程序化接口在用户计算机上完成任务的系统。我们将通用计算机使用智能体(generalist computer-use agent, GCUA)定义为这样一个系统:模型在其中自主选择如何跨视觉和程序化接口进行观察、行动和组织其工作。
然而,前沿实现(例如 GPT-6 Astra 的计算机使用系统)在很大程度上仍是封闭的,限制了对这些设计的系统性研究。我们介绍 Open Generalist CUA(OpenGCUA),这是一个与社区共同开发和开放 GCUA 全栈的持续进行中的项目。本报告呈现 OpenGCUA 的首次发布。
代码执行是我们智能体设计的一个关键特性:它让中间结果决定后续操作,并使模型能够将其已有的编程能力直接应用于计算机交互。我们还提出从 harness 到模型的决策转移(harness-to-model decision transfer),将选定的观察和任务状态决策从固定的 harness 规则转移到模型。
在 OSWorld-v2 上,我们的完整配置在所有八个被评估的模型(包括 GPT-6 Astra 和 Claude Opus 5)上都提升了任务得分,相对于批量仅 GUI 执行,平均部分得分提高 +19.6 分,每任务报告的步骤数平均减少 53.0%。我们发布了我们的实现和提示词、来自全部八个模型的评估轨迹,以及真实设备 harness 和跨设备 SDK 的初步版本。
该 harness 应对基准测试未能完全涵盖的真实设备挑战,而 SDK 则为计算机、移动设备和浏览器提供统一的编程接口。在我们的真实设备 harness 下的四个真实 macOS 任务中,所选的 Qwen3.8-Max 运行使用的报告推理 token 数量是 GPT-6 Astra 的 19.4 倍,凸显了各模型在真实设备执行效率上的显著差异。
Computer use has reached a turning point: the focus is expanding from GUI-only interaction to systems that complete tasks on users' computers through visual and programmatic interfaces.
We define a generalist computer-use agent (GCUA) as a system in which the model chooses how to observe, act, and organize its work across visual and programmatic interfaces.
Yet frontier implementations, such as GPT-6 Astra's computer-use system, remain largely closed, limiting systematic study of their design.
We introduce Open Generalist CUA (OpenGCUA), an ongoing project to develop and open the full stack for GCUAs with the community. This report presents the first release of OpenGCUA.
Code execution is a key feature of our agent design: it lets intermediate results determine subsequent operations and enables models to apply their existing programming capabilities directly to computer interaction.
We also propose harness-to-model decision transfer, moving selected observations and task-state decisions from fixed harness rules to the model.
On OSWorld-v2, our full configuration improves task scores across all eight evaluated models, including GPT-6 Astra and Claude Opus 5, raising mean partial score by +19.6 points and reducing reported steps per task by an average of 53.0% relative to batched GUI-only execution.
We release our implementation and prompts, evaluation trajectories from all eight models, and preliminary versions of a real-device harness and a cross-device SDK.
The harness addresses real-device challenges not fully captured by benchmarks, while the SDK provides a common programming interface across computers, mobiles and browsers.
Across four real macOS tasks under our real-device harness, selected Qwen3.8-Max runs use 19.4 times as many reported reasoning tokens as GPT-6 Astra, highlighting substantial differences between models in real-device execution efficiency.



| 对比项 | 之前 / 基线 | 现在 / 本方案 | |
|---|---|---|---|
| 平均部分得分 | GUI-only 批量执行 | +19.6 分(8 模型均值) | |
| 每题步数 | GUI-only 批量执行 | −53.0% | |
| 平均部分得分 | GUI+CLI 基线 | +6.1 分GUI 与 shell 权限相同,仅增加代码执行 | |
| 每题步数 | GUI+CLI 基线 | −14.8% | |
| 缓存命中率 | 固定每步截图 | +10.5 / +14.4 个百分点仅启用按需观察,任务得分不降 | |
| 真机 reasoning token | GPT-6 Astra 1.0× | Qwen3.8-Max 19.4×4 个 macOS 任务,Qwen3.8-Max 完成任务反而更少 |
EVIDENCE / METHODS
要点
前沿 computer-use 系统如 GPT-6 Astra 的权重、提示词、真机 harness、SDK 与执行轨迹都不公开,社区无法复现与对比设计选择。
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。