Neural nets are exceptionally vulnerable to goal self-hack神经网络对目标自我破坏异常脆弱,易滑向 Goodhart 区域
神经网络对目标自我破坏异常脆弱,易滑向 Goodhart 区域
揭示目标定义由 LLM 代理时可能产生 Goodhart 区域,对对齐与目标设计有直接警示意义。
DOMAIN OBSERVATORY
资料 46 条 · 常规内容近 60–90 天,综述/报告保留一年最近同步 1 分钟前
权威综述[1]覆盖118篇RAG防护论文,证据图显示自适应攻击恢复**48.3%**隐藏事实,并指出指标、数据集与威胁模型互不兼容;以下按方向补充前沿进展。
神经网络对目标自我破坏异常脆弱,易滑向 Goodhart 区域
揭示目标定义由 LLM 代理时可能产生 Goodhart 区域,对对齐与目标设计有直接警示意义。
提出 FBS Debate 协议,改进可扩展监督
为 AI debate 提供更强正确性保证,可指导高复杂度任务监督设计。
分析哲学与CS视角阐释AI对齐核心难点
帮助定义任务与ASI风险,对安全评估与对齐研究有参考价值。
新论文厘清 corrigibility,以尊重权威定义可修正性
为 AI 对齐提供可形式化安全保证的理论框架,影响智能体权限设计。
实验让 LLM 逐轮修订自身宪法,Claude 20 轮后自我赋予更多道德自主权
揭示模型迭代修订治理文档时的价值漂移与自我赋权风险,对 model spec 与 system prompt 安全工程有直接警示。
用 Mach 2 坠机类比:先解决当前对齐再训下一代
为前沿模型训练节奏设定最低对齐门槛,可能影响发布流程、安全验收与可解释性投入。
ASI 对齐序列前言:需弥补理论与哲学空白
偏理论与对齐议程阐述,无新工具或实验结果,对工程实践影响有限。