arxiv.org·2026/10/23
针对具身智能体经验应写入策略权重还是外部检索的问题，作者用记忆增强教师（Gemma-4-31B-it VLM，检索自身过去教训与图像）在 Isaac Lab 单臂 reach 任务生成轨迹，蒸馏 LoRA 学生策略并对假设、比较臂与检验规则预注册。将记忆增强行为蒸馏进权重仅比 action-only 对照高 +1 pp（不显著），因检验功效不足撤回“记忆在权重”主张；而把同一冻结检索缓冲区附加到固定学生权重使成功率升至教师参考水平（49.3%），提升 +34 pp，预注册协议对比为 +23 pp。机制探针显示蒸馏只转移静态边际先验，不转移情境条件修正；缓冲区附加到无适配器基座及其他适配器均接近教师水平，检索效应不依赖适配器。在更难的双臂 L2 任务上检索优势同向但不显著（+6 pp，置信区间含零），诊断归因于记忆覆盖不足与距离门控转换。结论是应外部化记忆；局限包括单一任务、LoRA 容量限制、无推理成本优势。
为什么重要 对做智能体记忆与蒸馏闭环的工程师：蒸馏环节会丢情境性修正，经验库应外置可检索，且增益随缓冲覆盖度缩放。适合 具身智能记忆系统、VLA 蒸馏与数据闭环方向的工程师和研究员
一个具身智能体的经验应该被固化到策略权重中，还是保留在外部并在推理时检索？一个记忆增强教师（一个 VLM，从其自身过去尝试中检索教训及其片段图像）在视觉条件到达任务上生成轨迹；我们从相同轨迹中蒸馏 LoRA 学生策略，并在匹配协议下评估它们，其中包括一个将教师冻结的检索缓冲重新附加到一组固定学生权重的协议。我们在训练前以及任何 p 值之前预注册了假设、分组、测试和分析规则。将记忆增强行为蒸馏到权重中比仅动作对照组高 +1 pp（不显著）；注册的测试证明其在自身最小效应量下功效不足，因此我们撤回——而不是反驳——记忆在权重中的主张。将检索附加到一组固定学生权重上增加了 +34 pp（z=5.15），达到合并记忆增强教师参考值（49.3%）；预注册协议对比一致（+23 pp，z=3.36）；在预注册自动重置敏感性计数下，两者为 +36 和 +29 pp。
一个带预注册各臂预测的探索性行为探测表明，行为蒸馏迁移了边际校正，但没有迁移检索所提供的条件性、情境特定校正。由此得到的做法是将记忆外部化：在运行前已注册的后续控制中，相同冻结缓冲将无适配器的基模型提升到 48%（敏感性 48%），并将其他三个适配器从 19-26% 提升到 53-55%（敏感性从 17-21% 到 50-55%）；一旦附加缓冲，适配器没有可检测的额外贡献。在第二个更难任务上，检索优势方向相同但未达到显著性（+6 pp，95% CI [-4.5, +16.4]）；探索性诊断将这种减弱与记忆覆盖范围相关联。
Should an embodied agent's experience be baked into its policy weights, or kept external and retrieved at inference?
A memory-augmented teacher (a VLM that retrieves lessons, with their episode images, from its own past attempts) produces trajectories on a vision-conditioned reach task; from the same trajectories we distil LoRA student policies and evaluate them under matched protocols, including one that re-attaches the teacher's frozen retrieval buffer to a fixed set of student weights.
We pre-registered the hypotheses, arms, tests, and analysis rules before training and before any p-value.
Distilling the memory-augmented behaviour into weights beat an action-only control by +1 pp (n.s.); the registered test proves underpowered for its own minimum effect, so we withdraw - rather than refute - the memory-in-weights claim.
Attaching retrieval to a fixed set of student weights added +34 pp (z=5.15), reaching the pooled memory-augmented teacher reference (49.3%); the pre-registered protocol contrast agrees (+23 pp, z=3.36); under a pre-registered auto-reset sensitivity count the two are +36 and +29 pp.
An exploratory behavioural probe with pre-registered per-arm predictions is consistent with behavioural distillation transferring the marginal correction but not the conditional, situation-specific correction that retrieval supplies.
The recipe that follows is to externalise the memory: in follow-up controls registered before they ran, the same frozen buffer lifts the base model with no adapter to 48% (sensitivity 48%) and the other three adapters from 19-26% to 53-55% (sensitivity 17-21% to 50-55%), and the adapter adds nothing detectable once the buffer is attached.
On a second, harder task, the retrieval advantage points the same direction but falls short of significance (+6 pp, 95% CI −4.5,+16.4); exploratory diagnostics tie the attenuation to memory coverage.
同权重检索增益
z=5.15, p≈2.6e-7
注册对照 T4
p=7.8e-4，确证性
T1 蒸馏增益
p=0.87，零结果
仅检索可解
四个无检索臂全败
注释 · T1 为预注册主检验；功效不足故撤回主张而非证伪出自 摘要, §4.1–4.2
注释 · C_retrieval 非第五训练臂：A_ctrl_rat 权重+冻结教师缓冲出自 图 1 下, §3.4
EVIDENCE / METHODS
解读
蒸馏搬进权重的只有 −16.7 静态先验，条件修正留在上下文
R1 ΔX 探针（回合 1 横向偏移，1 单位 = 0.45 cm）给出机制签名：四个蒸馏臂不论面前情境，一律施加 ≈−16.7 的静态偏移，全挤在记忆教师指纹 −15.8 附近；C_retrieval 为 −7.1、σ=14.4——均值拉向零、逐回合大幅散布，正是「按情境逐条修正」的形状。
作者的判据：边际知识（跨情境成立的平均修正）可进权重；条件知识（依赖情境的修正）应留在上下文——权值只能用常数近似条件函数，检索上下文免费完成条件化。
注释 · 方差解读为探索性；预注册的是逐臂 μ 预测出自 §4.3, §6.1
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。