智能体 · Skill · MCP / 论文

Post-Audit Mirage: Identifiability Limits of Offline Agent Verification

arxiv.org·2026/10/22·Aman Behera / Payal Payal

AI 解读选中文字或图表继续提问

内容工具 · 模型与重新生成

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入基于论文全文 1.2 万字 · 完整阅读

离线审计会“事后幻觉”：同一证据可对应安全与有害两种未来，弃权 20% 时至少一方错误 ≥40%

离线审计的同一公开记录可能对应安全与有害两种部署真相，验证者无法区分，此即 post-audit mirage；定理表明，若匹配世界对 $O$ 分布相同却要求相反决策，任意离线规则决策分布相同，弃权率 $r$ 时至少一个世界错误概率 $\geq (1 - r) /2$ 。Post-Audit Mirage benchmark 在 AuthGate、ConstraintPlan、BatchTriage 构造 272 个安全-有害配对，强制公共记录字节一致而隔离 scorer 真相相反；IdentifiedRangeMonitor 用更新后分组标注的新鲜 harm 结果返回 deploy、hold、cannot determine 或 unsupported，证据不足时保持未决。实验显示离线规则在配对公共输入上字节一致且决策序列相同；固定面板恢复中 0/272 有害生命周期被误部署，但属描述性结果。难度扫描仅四个设置达标，更小差距、更稀有组和缺失观测使监控更久未决；监控假设独立固定速率、结果无关缺失和稳定目标，无法检测未声明选择偏差、非随机缺失或目标偏移，评估须同时检查计算有效性与证据支持。

1同一审计证据可对应相反动作，离线审计无法识别部署安全。
2弃权率 r 时至少一方错误 ≥(1-r)/2，弃权20%即错至少40%。
3失败关闭监控只认证声明组伤害，证据不足返回未决或 unsupported。

为什么重要　智能体更新后的安全验证不能只看审计是否通过，还要判断审计证据是否足够识别部署后果，直接影响安全对齐工程评估层。适合　面向智能体安全审计、离线验证与监控落地的算法与工程读者，需关注可识别性证据。

来源: arxiv.org
发布: 2026/10/22
作者: Aman Behera、Payal Payal

中文（AI 翻译）

离线测试可能无法揭示智能体更新在部署后是否保持安全。我们使用匹配的安全和有害生命周期将这一审计后幻象操作化，这些生命周期暴露相同的验证器可见证据，而隔离的评分器记录相反的部署真相。我们的定理将标准的观察等价和不可区分性思想应用于这一可执行审计边界，并陈述了由此产生的错误-弃权权衡。

Post-Audit Mirage基准在授权、调度和共享容量环境中使该边界可执行。IdentifiedRangeMonitor使用新鲜的分组标记伤害结果来返回部署、保留、无法确定或不支持。实验表明，监控在有利设置下可以恢复缺失的区分，但对于稀有群体、小效应或缺失观察可能仍无法确定。

因此，验证器-智能体评估必须同时测试计算有效性和可用证据是否支持部署决策。

原文

Offline tests can fail to reveal whether an agent update will remain safe after deployment.

We operationalize this post-audit mirage using matched safe and harmful lifecycles that expose identical verifier-visible evidence while an isolated scorer records opposite deployment truth.

Our theorem applies standard observational-equivalence and indistinguishability ideas to this executable audit boundary and states the resulting error-abstention tradeoff.

The Post-Audit Mirage benchmark makes that boundary executable across authorization, scheduling, and shared-capacity environments.

IdentifiedRangeMonitor uses fresh group-labelled harm outcomes to return deploy, hold, cannot determine, or unsupported.

Experiments show that monitoring can recover the missing distinction in favorable settings but may remain undecided for rare groups, small effects, or missing observations.

Verifier-agent evaluation must therefore test both calculation validity and whether the available evidence supports the deployment decision.

272对

匹配生命周期

三环境合计

13,600

公开输入

全部字节级相同

9条

离线规则

全部返回相同配对序列

50轮

更新轮

每对执行 50 轮

3类

基准环境

授权调度共享容量

注释 · 字节级相同与受保护真值相反，验证观察等价且无 scorer 泄露。出自 §4 Matched audit

0/272

误部署

最终摘要中有害未误部署

20,000

观测上限

固定面板尝试观测数

4设置

受控合格

Hoeffding 监测合格

注释 · 固定面板结果是描述性结果，不是总体错误率估计；零观察风险不等于零风险。出自 §4 Fixed-panel / Controlled

展示两个匹配世界向离线验证器暴露完全相同的证据，强制相同决策，但更新后结果要求相反动作；Safe/Harmful 标签是仅评分者真值。

失败关闭监控使用更新后组标记伤害结果，仅当所有组上限安全才部署，任一下限有害即阻止，否则返回 Need More Evidence 或 unsupported。

更新轮: 50
组伤害阈值: 15%
安全边际: 0.025 / 0.05 / 0.10
保留率: 0.5 / 1.0

判断

审计验证需双重测试

离线审计只能验证计算，不能补充缺失的部署信息。

判断

匹配世界的公开记录同分布时，任何离线规则在两世界上的决策分布完全相同；定理把可识别性缺口写成错误与弃权的下界。工程上不能只问验证器是否算对，还要问现有证据是否足以支持部署决策。新证据若仍不充分，宁可让监控返回未决，也不要掩盖可识别性缺口。对智能体安全审计尤为关键：审计成本高不代表证据充分。

注释 · 匹配世界公开记录同分布时，任何离线规则决策分布相同；唯一可调的是弃权率。出自 §1 Introduction / Conclusion

论文原文 · PDF

在浏览器打开

原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。

离线审计会“事后幻觉”：同一证据可对应安全与有害两种未来，弃权 20% 时至少一方错误 ≥40%

离线审计的同一公开记录可能对应安全与有害两种部署真相，验证者无法区分，此即 post-audit mirage；定理表明，若匹配世界对

O

分布相同却要求相反决策，任意离线规则决策分布相同，弃权率

r

时至少一个世界错误概率

\geq (1 - r) /2

。Post-Audit Mirage benchmark 在 AuthGate、ConstraintPlan、BatchTriage 构造 272 个安全-有害配对，强制公共记录字节一致而隔离 scorer 真相相反；IdentifiedRangeMonitor 用更新后分组标注的新鲜 harm 结果返回 deploy、hold、cannot determine 或 unsupported，证据不足时保持未决。实验显示离线规则在配对公共输入上字节一致且决策序列相同；固定面板恢复中 0/272 有害生命周期被误部署，但属描述性结果。难度扫描仅四个设置达标，更小差距、更稀有组和缺失观测使监控更久未决；监控假设独立固定速率、结果无关缺失和稳定目标，无法检测未声明选择偏差、非随机缺失或目标偏移，评估须同时检查计算有效性与证据支持。

1同一审计证据可对应相反动作，离线审计无法识别部署安全。

2弃权率 r 时至少一方错误 ≥(1-r)/2，弃权20%即错至少40%。

3失败关闭监控只认证声明组伤害，证据不足返回未决或 unsupported。

来源

arxiv.org

发布

2026/10/22

作者

Aman Behera、Payal Payal

中文（AI 翻译）

因此，验证器-智能体评估必须同时测试计算有效性和可用证据是否支持部署决策。

原文

Offline tests can fail to reveal whether an agent update will remain safe after deployment.

We operationalize this post-audit mirage using matched safe and harmful lifecycles that expose identical verifier-visible evidence while an isolated scorer records opposite deployment truth.

Our theorem applies standard observational-equivalence and indistinguishability ideas to this executable audit boundary and states the resulting error-abstention tradeoff.

The Post-Audit Mirage benchmark makes that boundary executable across authorization, scheduling, and shared-capacity environments.

IdentifiedRangeMonitor uses fresh group-labelled harm outcomes to return deploy, hold, cannot determine, or unsupported.

Experiments show that monitoring can recover the missing distinction in favorable settings but may remain undecided for rare groups, small effects, or missing observations.

Verifier-agent evaluation must therefore test both calculation validity and whether the available evidence supports the deployment decision.

Post-Audit Mirage: Identifiability Limits of Offline Agent Verification

离线审计会“事后幻觉”：同一证据可对应安全与有害两种未来，弃权 20% 时至少一方错误 ≥40%

摘要

中文（AI 翻译）

原文

基准观察等价性规模

固定面板恢复与受控结果

核心图文

审计不可识别与监控恢复主线

关键规格

审计验证需双重测试

论文原文 · PDF

Post-Audit Mirage: Identifiability Limits of Offline Agent Verification

离线审计会“事后幻觉”：同一证据可对应安全与有害两种未来，弃权 20% 时至少一方错误 ≥40%

摘要

中文（AI 翻译）

原文

基准观察等价性规模

固定面板恢复与受控结果

核心图文

审计不可识别与监控恢复主线

关键规格

审计验证需双重测试

论文原文 · PDF