AI 研究助理

基于站内最新资料，回答 AI 前沿问题

回答带出处引用，支持多轮追问，当前页面内容会作为上下文

快速响应
AI 前沿跟踪
今日首页重点内容GitHub 趋势榜
领域
学术研究
大模型
具身智能
AI 基础设施
智能体 · Skill · MCP
机器人
多模态
自动驾驶
数据 / MLOps
AI 硬件
安全对齐
综述与报告
论文机器人重点VLA记忆机制人形机器人基准

Memory before Goal: Role of Pre-History Memory for Humanoid Loco-Manipulation

查看原文（PDF）
AI 解读已生成 · AI 生成，数字以原文为准
AI 全文总结值得深入基于论文全文 3.7 万字 · 完整阅读

WholeBodyMem 用对象事件挑记忆帧，把 G1 真实任务成功率从 36.7% 拉到 88.3%

针对人形机器人全身操控中动态场景下物体状态消失或移出视野导致的非马尔可夫问题，作者提出WholeBodyMem：用冻结SAM3跟踪任务物体，按物体出现、消失、移动等事件在自适应预算内因果选择关键帧，动作专家以交叉注意力和FiLM读取记忆token与物体token。作者同步提出HuMeGo基准，含仿真与真实Unitree G1任务，对比无记忆Ψ0和均匀采样记忆。作者报告，在仿真记忆任务上，WholeBodyMem把基础策略成功率从29.1%提升到72.6%，真实机器人从36.7%提升到88.3%，且不损失标准SIMPLE反应技能。消融显示收益来自选对帧而非选更多帧；局限有SAM3漏检、在线跟踪推理成本、仿真到真实差距和脚本化演示。

  1. 1对象事件选帧把决策准确率从 36% 拉到 94%
  2. 2真实 G1 六任务 36.7%→88.3%，每任务仅 15 条演示
  3. 328.2 点增益关键帧占 16.0 点，选帧胜过容量

为什么重要　首个面向人形机器人全身操作的非马尔可夫记忆机制，给出关键帧筛选新范式，对具身数据闭环有直接借鉴。适合　做人形 VLA、具身记忆或关键帧筛选的工程与研究人员

来源
arxiv.org
发布
2026/10/23

中文（AI 翻译）

动态场景中的人形机器人移动操作是非马尔可夫的：当物体变化或被遮挡、或者机器人转身和行走时物体离开视野，线索会消失，但全身视觉-语言-动作（VLA）策略只能看到当前时刻。我们提出 WholeBodyMem，一种物体引导的感知记忆，保存机器人在执行目标动作之前所看到的物体事件的前历史。

SAM3 跟踪任务物体，它们的事件在自适应预算内因果地选择关键帧，动作专家通过交叉注意力读取这些关键帧，并结合编码外观、几何和时间的物体 token。我们还贡献了 HuMeGo，一个人形机器人记忆基准，包含 6 个仿真任务和 6 个真实世界 Unitree G1 任务。

通过保留正确的帧而不是更多帧，WholeBodyMem 超过了无记忆和均匀记忆基线，将其基策略的成功率在仿真中从 29.1% 提升到 72.6%，在真实机器人上从 36.7% 提升到 88.3%，同时还将标准 SIMPLE 任务的成功率从 70.2% 提升到 86.9%。

原文

Humanoid loco-manipulation in dynamic scenes is non-Markovian: cues vanish as objects change or are hidden, or leave the view as the robot turns and walks, yet whole-body vision-language-action (VLA) policies see only the present.

We present WholeBodyMem, an object-guided perceptual memory that keeps the pre-history of object events seen before the robot acts on its goal.

SAM3 tracks the task objects, and their events causally select key frames within an adaptive budget, which the action expert reads by cross-attention together with object tokens encoding appearance, geometry and time.

We also contribute HuMeGo, a humanoid memory benchmark with six simulated and six real-world Unitree G1 tasks.

Keeping the right frames rather than more frames, WholeBodyMem surpasses memoryless and uniform-memory baselines, raising its base policy's success from 29.1% to 72.6% in simulation and from 36.7% to 88.3% on the real robot, while also improving the standard SIMPLE tasks (70.2% to 86.9%).

  • 均匀记忆基线
    44.4%
  • 无对象令牌与头
    60.4%
  • 无决策头
    65.7%
  • 记忆注入上下文
    25.9%
  • 无自适应记忆
    70.4%
  • 术语解释论文提出的对象引导感知记忆，用对象事件选择关键帧
    72.6%

注释 · 对象 tokens 5.3 点、决策头 4.7 点、自适应预算 2.2 点；memory as context 低于无记忆 Ψ0 的 29.1%出自 表 4

术语解释论文提出的对象引导感知记忆，用对象事件选择关键帧 达 86.9%，超过最强无记忆基线 Ψ0 的 70.2%
  • InternVLA-M1
    21.2%
  • DP
    32.4%
  • ACT
    41.9%
  • EgoVLA
    40.2%
  • GR00T
    37.9%
  • Ψ0
    70.2%
  • Uniform memory
    76.9%
  • 术语解释论文提出的对象引导感知记忆，用对象事件选择关键帧
    86.9%

注释 · 14 任务每任务 30 次（L0/L1/L2 各 10）；这些任务不含记忆依赖出自 表 1

真实场景：可乐先停中间座 1.1s，随后 sprite 和可乐停另两座；机器人 30.0s 返回后三座同貌，无记忆策略无法判断可乐最先停在哪
系统总览：SAM3 跟踪任务对象→事件检测→因果选择器→记忆/对象 tokens，供六块 DiT 动作专家经交叉注意力与 FiLM 读取；决策头输出 pad 权重
真实世界六任务面板：展示指令、四步遥操作演示、难度与所需记忆类型；蓝箭头标 cue 和答案，虚线标 cue 消失后的位置
骨干
Qwen3-VL-2B 冻结
动作专家
6 DiT blocks，1536-D
预测范围
H=30 action tokens
训练量
40k steps，batch 128

深度总结

1 / 7
真实 Unitree G1 六任务成功率· 表格

六任务合计 53/60（88.3%），对照 Ψ0 的 22/60（36.7%）

任务记忆类型Ψ0术语解释论文提出的对象引导感知记忆，用对象事件选择关键帧
Trash bagS4/109/10
Remember-chipO3/1010/10
Café AT4/109/10
Café BO+S3/109/10
Café CO+S+T3/108/10
Chip-cartP5/108/10
总计—22/6053/60

注释 · 每任务 10 次试验，答案均衡；O/S/T/P 分别对应对象、空间、时间、任务进度记忆出自 表 5