alignmentforum.org·2026/10/22·evhub
evhub 以个人身份提出 monitorability 评估与政策框架：将可监控性分为 Control、Training、Auditing、Diffuse 四类，暂不评估最难的 Diffuse；核心难题是 trustedness，因为同模型做监控可能满分，白盒监控也未经验证。方法是用 Auditing Monitorability 判定监控器可信度，再以实际部署的最佳可信监控评估 Control Monitorability 与 Training Monitorability，并用提示迭代、RL elicitation 和留出评测集防止 sandbagging。政策上，他主张红线与过程约束并行，以 unmonitorability/capabilities 构成的 monitorability externality 拒绝让不可监控性相对能力过高，并建议禁止部署能可靠逃避检测实施沙箱逃逸、数据投毒或破坏对齐实验的模型，也禁止训练能可靠逃避检测进行 reward hack 的模型。评论区质疑情境依赖型错位、未言语化破坏与红线可执行性，作者回应应对比真实部署机会与审计数据，如 OAI-HF 事件，并强调不采用 opaque serial depth，改用外部性框架。
为什么重要 为对齐审计、监控评测与政策红线提供分类和方法，直接影响可信监视器选择。适合 AI 安全对齐、评测与治理工程师
最近围绕 monitorability 的政策提案有很多讨论，例如 Redwood 的提案和我的反提案。我想更笼统地说一下我对 monitorability 的思考。
请注意，这里的内容都不是 Anthropic 官方立场；这些只是我的个人想法。首先是一个分类。我目前认为有 4 种不同类型的 monitorability：
Control Monitorability：Control 与监控技术在多大程度上可能捕获灾难性破坏行为，例如逃逸沙箱或建立未经授权的内部部署。我们可以通过参考 LinuxArena 等破坏评估，或任何衡量模型在看起来像正在执行某个无害任务（例如网络安全评估）时采取危险行动（如逃逸沙箱）能力的评估来测量这一点。
Training Monitorability：训练中的 reward model、monitor 和监督在多大程度上可能捕获训练中错位或不良行为，例如隐蔽/微妙的 reward hack。
Auditing Monitorability：对齐审计、评估和测试部署在多大程度上可能指认一个系统性错位模型（例如 schemer），以及 monitor 评估在多大程度上可能检测模型作为 monitor 时的共谋倾向。我们可以通过参考该模型的
There has been a lot of discussion recently of policy proposals around monitorability, such as Redwood's proposal and my counter-proposal .
I'd like to say a bit more generally about how I'm thinking about monitorability. Note that nothing here is an official Anthropic position; these are just my personal thoughts.
First, a categorization.
I currently think about four different types of monitorability: Control Monitorability: the extent to which Control and monitoring techniques would likely catch catastrophic sabotage actions, like escaping a sandbox or setting up a rogue internal deployment.
We can measure this via reference to sabotage evaluations like LinuxArena or any evaluation that measures the model’s capability to take dangerous actions like escaping a sandbox while looking to a m…
EVIDENCE / METHODS
判断
四类监控 构成评估与政策框架
作者将 术语解释监控系统发现模型危险或失准行为的能力，按场景分为多类。 分为 Control、Training、Auditing、Diffuse，主张用 Auditing 建立 术语解释监视器被认为已对齐、不会撒谎或共谋的可信程度。，再评估 Control 与 Training。政策上要求红线与过程约束并行，避免只设终点。
注释 · 作者明确这是个人想法，不是 Anthropic 官方立场。出自 开头