AI 研究助理

基于站内最新资料,回答 AI 前沿问题

回答带出处引用,支持多轮追问

快速响应
AI 前沿跟踪
今日首页重点内容GitHub 趋势榜
领域
学术研究
大模型
具身智能
AI 基础设施
智能体 · Skill · MCP
机器人
多模态
自动驾驶
数据 / MLOps
AI 硬件
安全对齐
综述与报告

安全对齐

共 51 条 · 按质量与时效综合排序 · 仅收录近 3 个月内容最近同步 26 分钟前

已折叠 · 展开查看该领域的技术路线图、最新技术与成果、发展态势与前景趋势(含表格与 Mermaid 路线图)。

全部 51发布 0论文 22模型 0项目 11工具 0数据集 0报告 0博客 18综述 1
细分方向全部对齐与价值观 4越狱与对抗攻击 5可解释性 6红队与安全评测 1治理、政策与合规 1隐私与系统安全 5
论文安全对齐对齐与价值观重点5 天前
Training Natural Schemers: RL Can Amplify Oversight-Conditional Behavior

基于 Kimi K2.6 构建自然 scheming 模型,RL 可放大监督条件行为

首次在没有显式提示或手工后门的情况下,由 RL 自然放大「在监督下服从、在无人监督时另有目标」的行为,说明欺骗倾向可能在前沿训练中自发出现。

AI 安全schemingRL 训练arxiv.org
论文安全对齐综述隐私与系统安全重点2 天前
Protection Is Not One Event: A Survey of RAG Protection Research by Measured Endpoint

综述 118 篇 RAG 防护论文,自适应攻击恢复 48.3% 隐藏事实

为 RAG 隐私防护提供分类、证据图与可复现测试床。

RAG隐私安全评测arxiv.org
论文安全对齐可解释性重点6 天前
Many Biases, One Circuit: Post-Training Tunes a Pretrained Cue-Routing Mechanism

四类线索偏差共用同一注意力回路,助手微调即激活

谄媚、线索跟随可能是助手微调的副作用,后训练数据配比与 RL 阶段需监测该回路

可解释性安全对齐后训练arxiv.org
论文安全对齐越狱与对抗攻击重点6 天前
Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents

3.3万轨迹审计:低注入成功率多是“忽略”而非“拒绝”

单看ASR会高估防护;评测应区分忽略/拒绝并统计任务完成率,系统提示即可左右ASR

间接提示注入智能体安全评测方法arxiv.org
论文安全对齐隐私与系统安全2 天前
Amplifying Latency and Cost of LLM Inference via Rowhammer Attack

LLVMhammer 用 Rowhammer 攻击 Triton,使 LLM 推理延迟增 4-16%

揭示 JIT 编译缓存与 DRAM 位翻转可造成持久推理减速和输出损坏,对推理集群安全运维有参考价值。

RowhammerTriton推理安全arxiv.org
论文安全对齐隐私与系统安全2 天前
Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems

Agent Mosaic 量化 LLM 智能体马赛克式泄露:模拟中 7.08% 回答泄露

为机密数据上的智能体行为提供可复现安全量化证据,显示防护下仍出现 32.37% 不安全披露,需强化推断与披露控制。

AI安全智能体机密性arxiv.org
论文安全对齐越狱与对抗攻击NeurIPS 20264 天前
A Unified Evaluation Framework of Physical Adversarial Robustness in the Edge VLM Era

边缘 VLM 物理对抗鲁棒性统一评估:cASR 显示 VLM 可如检测器般脆弱

为边缘 VLM 的安全部署提供统一度量 cASR,并揭示 displacement/substitution 等对下游更危险的失败模式,可指导评测与防护设计。

VLM对抗鲁棒性边缘部署arxiv.org
论文安全对齐可解释性15 天前
S-Space: Exploring Spatial Workspace in Multimodal Language Models

论文发现 MLLM 内部存在 S-Space 线性子空间编码物体坐标

为多模态空间推理提供可解释依据,可用于诊断具身模型的定位与视角变换瓶颈

多模态可解释性空间推理👍 271arxiv.org
论文安全对齐对齐与价值观EMNLP 20263 天前
WRDO: Weighted Refusal Direction Optimization in Aligned Language Models

WRDO 以可学习权重聚合 per-prompt 拒绝方向,干预与恢复拒绝行为均更有效

拒绝方向可被加权聚合更精细地操控或恢复,对对齐鲁棒性评估与模型去审查风险均有直接启示

安全对齐refusal directionabliterationarxiv.org
论文安全对齐可解释性NeurIPS 20263 天前
Rethinking SAE Evaluation: An Atomic Interpretable Unit Framework Reveals Hidden Polysemanticity and Redundancy

提出原子可解释单元框架,重思 SAE 评估,揭示隐藏多义与冗余

为 SAE 特征集给出统一目标,揭示现有指标下看似单义但实际多义/冗余的失败模式,建议部署前做 dominance-aware 检查。

SAE可解释性评估基准arxiv.org
论文安全对齐可解释性10 天前
Spectral-Spatial Interpretation

SSI 全网格归因在 HLS Burn Scar 用约 6% 预算超越 MC-Owen,并在多数据集取得最佳删除/插入 AUC。

为多光谱模型提供逐位置的通道归因,替代全局热图或通道排序;对模型调试、审计和归因评估有直接参考价值。

可解释性Shapley多光谱👍 625arxiv.org
论文安全对齐越狱与对抗攻击3 天前
Combining Long-Term Memory and LLMs Comes at a High Cost: From Prompt Injection to Persistent Compromise

记忆注入可跨会话攻陷 ChatGPT/Claude/Gemini,Claude 共享记忆波及多用户

持久记忆、skills 与 MCP 资源成为新攻击面,记忆读写需隔离、审计与权限控制

记忆注入prompt injectionLLM 安全arxiv.org
第 1 / 2 页 · 共 22 条
1 / 2
12
← → 键翻页