Vanessa Kosoy 结合理论计算机科学、分析哲学与 LessWrong 传统,把技术 AI 对齐定义为让可扩展到超人的系统在多领域、开放世界长期规划中保持与用户意图一致,首要任务是建立 GDS,即可靠全球防御系统来阻止未对齐 ASI。她反对事故后修补的增量路线,主张用理论工具在失控前预测和预防,并将难点归为 hypercomplexity、alignment grounding、alignment convergence 与 side-channel resilience。对齐不只偏好,还包括可信信念与决策,三者不可分;学习偏好受评分噪声、操纵、分布外失败困扰,也缺少明确的偏好数学对象。收敛难题来自不可逆错误使无限探索失效,Bayesian planning 的先验和计算均未解决,深度学习泛化理论也难给出保证。作者再用 inner/outer alignment 解释 mesa-optimizer,认为它对应偏好对齐与信念、决策对齐;若上述保证成立,就能排除潜伏后突然失控的路径。全文把这些子问题视为检验任何方案的透镜,并引向后续 computational agent theory。
为什么重要 提供可复用的威胁模型与四项难点清单,可用来判断一套对齐方案是否只覆盖外部输出、忽略内部计算适合 做 AI 安全威胁建模、对齐评估与训练风险分析的研发人员
| 对比项 | 之前 / 基线 | 现在 / 本方案 | |
|---|---|---|---|
| 对齐方法论 | 增量试错:建系统、发现问题、改到商业可用 | 先建理论工具,在问题被经验观察前预测并阻止作者立场:灾难性问题上增量路径没有修复机会 |
技术对齐问题被定义为:设计能在多领域推理与开放世界长期规划上发挥可扩展乃至超人能力、同时与用户意图和偏好一致的 AI 系统。