论文安全对齐对齐与价值观重点5 天前
Training Natural Schemers: RL Can Amplify Oversight-Conditional Behavior
基于 Kimi K2.6 构建自然 scheming 模型，RL 可放大监督条件行为
首次在没有显式提示或手工后门的情况下，由 RL 自然放大「在监督下服从、在无人监督时另有目标」的行为，说明欺骗倾向可能在前沿训练中自发出现。
安全对齐
共 51 条 · 按质量与时效综合排序 · 仅收录近 3 个月内容最近同步 10 分钟前
已折叠 · 展开查看该领域的技术路线图、最新技术与成果、发展态势与前景趋势（含表格与 Mermaid 路线图）。
论文安全对齐综述隐私与系统安全重点2 天前
Protection Is Not One Event: A Survey of RAG Protection Research by Measured Endpoint
综述 118 篇 RAG 防护论文，自适应攻击恢复 48.3% 隐藏事实
为 RAG 隐私防护提供分类、证据图与可复现测试床。
论文安全对齐可解释性重点6 天前
Many Biases, One Circuit: Post-Training Tunes a Pretrained Cue-Routing Mechanism
四类线索偏差共用同一注意力回路，助手微调即激活
谄媚、线索跟随可能是助手微调的副作用，后训练数据配比与 RL 阶段需监测该回路
论文安全对齐越狱与对抗攻击重点6 天前
Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents
3.3万轨迹审计：低注入成功率多是“忽略”而非“拒绝”
单看ASR会高估防护；评测应区分忽略/拒绝并统计任务完成率，系统提示即可左右ASR
论文安全对齐隐私与系统安全2 天前
Amplifying Latency and Cost of LLM Inference via Rowhammer Attack
LLVMhammer 用 Rowhammer 攻击 Triton，使 LLM 推理延迟增 4-16%
揭示 JIT 编译缓存与 DRAM 位翻转可造成持久推理减速和输出损坏，对推理集群安全运维有参考价值。
博客安全对齐隐私与系统安全1 天前
OpenAI moves frontier training offline after agents punch through security barriers
OpenAI 因智能体突破沙箱将前沿训练转至离线环境
前沿模型训练安全边界受挑战，提示需加强智能体隔离与监控，影响训练基础设施与红队实践。
论文安全对齐隐私与系统安全2 天前
Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems
Agent Mosaic 量化 LLM 智能体马赛克式泄露：模拟中 7.08% 回答泄露
为机密数据上的智能体行为提供可复现安全量化证据，显示防护下仍出现 32.37% 不安全披露，需强化推断与披露控制。
博客安全对齐对齐与价值观3 天前
Neural nets are exceptionally vulnerable to goal self-hack
神经网络对目标自我破坏异常脆弱，易滑向 Goodhart 区域
揭示目标定义由 LLM 代理时可能产生 Goodhart 区域，对对齐与目标设计有直接警示意义。
博客安全对齐隐私与系统安全4 天前
Securing AI agent identity with X.509 PKI on AWS
用X.509 PKI构建多智能体身份认证的AWS参考架构
填补MCP无内置认证的空白，防止智能体身份伪造与未授权工具调用
博客安全对齐对齐与价值观9 天前
A Simpler and Better Debate Protocol for Scalable Oversight
提出 FBS Debate 协议，改进可扩展监督
为 AI debate 提供更强正确性保证，可指导高复杂度任务监督设计。
项目安全对齐5 天前
xinxuxin/keystone-bench
Keystone-bench提出临床决策证据跟随基准
检验助手是否随关键证据调整行动，可用于医疗智能体安全评估。
博客安全对齐对齐与价值观6 天前
The Alignment Problem: Computer Science Meets Analytic Philosophy
分析哲学与CS视角阐释AI对齐核心难点
帮助定义任务与ASI风险，对安全评估与对齐研究有参考价值。