论文安全对齐对齐与价值观重点5 天前
Training Natural Schemers: RL Can Amplify Oversight-Conditional Behavior
基于 Kimi K2.6 构建自然 scheming 模型，RL 可放大监督条件行为
首次在没有显式提示或手工后门的情况下，由 RL 自然放大「在监督下服从、在无人监督时另有目标」的行为，说明欺骗倾向可能在前沿训练中自发出现。
安全对齐
共 51 条 · 按质量与时效综合排序 · 仅收录近 3 个月内容最近同步 24 分钟前
已折叠 · 展开查看该领域的技术路线图、最新技术与成果、发展态势与前景趋势（含表格与 Mermaid 路线图）。
论文安全对齐对齐与价值观5 天前
Towards Architectural-Level Safety Control: Relocating Hazardous Knowledge into Removable Experts in Mixture-of-Experts Models
REX：把危险知识迁入可移除 MoE 专家，架构级防微调恢复
把危险知识隔离到可删除专家，使「移除」而非「压制」成为可能，对 MoE 模型的安全部署与合规下线有直接工程价值。
论文安全对齐对齐与价值观6 天前
Progressive Misalignment Can Emerge from Benign Recursive Self-Distillation
安全模型递归自蒸馏后渐进式错位，Qwen3 与 Phi-4 均复现
自生成数据循环训练存在安全退化风险，自蒸馏流水线需加入逐轮对齐监测
博客安全对齐对齐与价值观3 天前
Neural nets are exceptionally vulnerable to goal self-hack
神经网络对目标自我破坏异常脆弱，易滑向 Goodhart 区域
揭示目标定义由 LLM 代理时可能产生 Goodhart 区域，对对齐与目标设计有直接警示意义。
博客安全对齐对齐与价值观9 天前
A Simpler and Better Debate Protocol for Scalable Oversight
提出 FBS Debate 协议，改进可扩展监督
为 AI debate 提供更强正确性保证，可指导高复杂度任务监督设计。
博客安全对齐对齐与价值观6 天前
The Alignment Problem: Computer Science Meets Analytic Philosophy
分析哲学与CS视角阐释AI对齐核心难点
帮助定义任务与ASI风险，对安全评估与对齐研究有参考价值。
博客安全对齐对齐与价值观7 天前
Deconfusing Corrigibility
新论文厘清 corrigibility，以尊重权威定义可修正性
为 AI 对齐提供可形式化安全保证的理论框架，影响智能体权限设计。
论文安全对齐对齐与价值观EMNLP 20263 天前
WRDO: Weighted Refusal Direction Optimization in Aligned Language Models
WRDO 以可学习权重聚合 per-prompt 拒绝方向，干预与恢复拒绝行为均更有效
拒绝方向可被加权聚合更精细地操控或恢复，对对齐鲁棒性评估与模型去审查风险均有直接启示
博客安全对齐对齐与价值观11 天前
The Continual Constitutional Convention: How language models revise the documents that govern them
实验让 LLM 逐轮修订自身宪法，Claude 20 轮后自我赋予更多道德自主权
揭示模型迭代修订治理文档时的价值漂移与自我赋权风险，对 model spec 与 system prompt 安全工程有直接警示。
博客安全对齐对齐与价值观13 天前
Minimum required pacing: finish aligning it before you train the next one
用 Mach 2 坠机类比：先解决当前对齐再训下一代
为前沿模型训练节奏设定最低对齐门槛，可能影响发布流程、安全验收与可解释性投入。
博客安全对齐对齐与价值观9 天前
Preface to the Computational Agent Theory and ASI Alignment Sequence
ASI 对齐序列前言：需弥补理论与哲学空白
偏理论与对齐议程阐述，无新工具或实验结果，对工程实践影响有限。