alignmentforum.org·2026/10/18·berns
现有corrigibility定义多因过度认知化而陷入fully updated deference，或因价值加厚而难形式化。作者提出核心是respect for authority：Goal 1优先尊重人类在reserved powers上的权威，Goal 2在此约束下按委托人最佳判断行动，两层严格排序并对应2015安全标准。批评Yudkowsky元效用与Harms的CAST单一目标，指出效用应基于完整历史而非静态结果，且不能最大化改正力。操作上以constitution of humanity分配保留权力，用未来判断近似Goal 2，授权可撤销以容忍通信延迟。形式化给出三项定理：确定性下严格优先；固定风险容忍下保持优先；逻辑归纳子下长期实际违规率不超可调阈值且按自身评分不逊于备选行动。作者承认这是问题分解，仍需解决宪法聚合、合法性与训练注入。
为什么重要 为智能体安全目标提供可形式化的概念框架，但无工程实现与评估数据。适合 关注 AI 对齐理论与智能体安全目标设定的研究者
| 对比项 | 之前 / 基线 | 现在 / 本方案 | |
|---|---|---|---|
| corrigibility 来源 | 目标不确定性或单一统一目标 | 尊重人类保留权威原文称旧定义过度认知化或价值加厚 | |
| 目标结构 | 单一目标 | 约束加代理判断先不越权，再按委托人最佳判断行事 | |
| 保证形式 | 缺乏可承载的形式化保证 | 三种设定下定理级保证原文声称 |
衷心感谢Abram Demski在物质和智力上对本研究给予的支持。同时感谢Brian Berns、Roman Malov、Gurkenglas和Lorxus带来的宝贵交流。引言：尽管可纠正性（corrigibility）在理论AI对齐中占据核心地位，但似乎没有人能真正就它是什么达成一致。
这种混乱在很大程度上源于这样一个事实：迄今为止提出的几乎每一个可纠正性定义都在某方面存在缺陷。
特别是，现有的最主流的可纠正性解释要么是过度认识论化（over-epistemicized）的——将可纠正性建模为纯粹源于对AI目标的不确定性，从而引发了诸如完全更新后顺从问题（the problem of fully updated deference）之类的问题——要么是评价性增厚（evaluatively-thickened）的——使AI的规范性优先事项成为其可纠正性的工具。
Many thanks to Abram Demski for materially and intellectually supporting this research. Thanks also to Brian Berns, Roman Malov, Gurkenglas, and Lorxus for valuable conversations.
Introduction Despite the central place of corrigibility to theoretical AI alignment, it seems like no one can really agree about what is .
Much of this confusion is due to the fact that almost every definition of corrigibility proposed thus far is deficient in one way or another.
In particular, the most prevalent existing accounts of corrigibility are over-epistemicized (modeling corrigibility as arising purely from uncertainty about the AI's goal, which gives rise to issues like the problem of fully updated deference) or evaluatively-thickened (making the AI's normative priorities instrumental to its corrigibili…
EVIDENCE / METHODS
要点
术语解释智能体接受人类纠正、不阻碍人类修正其目标的性质 在理论 AI 对齐中居核心位置，但学界对其含义缺乏共识