AI 研究助理

基于站内最新资料,回答 AI 前沿问题

回答带出处引用,支持多轮追问,当前页面内容会作为上下文

快速响应
AI 前沿跟踪
今日首页重点内容GitHub 趋势榜
领域
学术研究
大模型
具身智能
AI 基础设施
智能体 · Skill · MCP
机器人
多模态
自动驾驶
数据 / MLOps
AI 硬件
安全对齐
综述与报告
论文安全对齐重点RAG隐私安全评测提示注入

Protection Is Not One Event: A Survey of RAG Protection Research by Measured Endpoint

查看原文(PDF)
AI 解读已生成 · AI 生成,数字以原文为准
AI 全文总结值得深入基于论文全文 5.4 万字 · 完整阅读

RAG 防护研究按测量终点分类,118 篇论文仅 17.8% 直接测量内容泄露

针对RAG防护论文评价指标、数据集与威胁模型不兼容的问题,该调查以实测端点而非声称目标或防御机制为主线,提出七家族冻结端点分类法,由多名标注者对118篇全文确认的RAG防御论文双编码,一致率达**κ=0.867。跨机制分析显示检索重排与上下文改写分别横跨多个端点家族,机制无法预示防护结果;仅17.8%研究把内容披露或重构设为主端点,版权/所有权标签下73.3%以语料使用检测为主端点且无发射表达主端点,多数评估只用通用问答数据和单轮非自适应攻击。受控测试台进一步证明,归一化n-gram输出守卫能把逐字复制压至零,但多轮自适应攻击仍可在受测模型上恢复48.3%**隐藏事实。作者发布分类法、编码协议与测试台,推动声明与实测对齐的可比RAG安全评估。

  1. 1机制类型仅解释终点分布 27% 不确定性
  2. 28-gram 防护将 20-token 复制降至 0.0%
  3. 3三查询自适应攻击恢复 48.3% 隐藏事实

为什么重要 给做 RAG 安全评估的工程师一个可对照的分类框架,并揭示表面防复制与事实泄露的评估脱节适合 RAG 安全/隐私防护评估、数据闭环与安全对齐方向的工程师与研究员

来源
arxiv.org
发布
2026/10/23

中文(AI 翻译)

检索增强生成(RAG)系统面临安全、隐私和版权风险,包括内容泄露、来源重建、未授权访问、数据投毒和提示注入。然而,RAG 防护研究使用了互不兼容的评估指标、数据集和威胁模型。我们提出了一项系统综述,以及一份人工编码的证据图,涵盖 118 篇经全文确认的 RAG 防护论文,并按实际测量终点而非宣称目标或防御机制组织。

我们的七大家族分类法涵盖内容披露、形式化隐私代理、访问控制与抑制、语料使用检测,以及管道完整性与归因。32 名标注者对论文进行了双编码,kappa=0.867。该综述识别出三个空白。

第一,检索重排序和上下文重写各自跨越五到六个终点家族,因此机制本身并不能确定防护结果。第二,只有 17.8% 的研究把内容披露或重建作为主要终点;在冻结的版权/所有权关系标签下,73.3% 的记录把语料使用检测作为主要终点,没有任何记录把生成表达作为主要终点。第三,多数评估使用通用问答数据集和非自适应攻击,而不是敏感数据和自适应、多轮提取。

我们的受控 RAG 测试床表明,防止逐字复制并不能防止隐私事实恢复:一个归一化 8-gram 防护将 20-token 复制降低到 0.0%,但一个三查询自适应攻击者在 Qwen3-8B 上恢复了 48.3% 的隐藏事实。我们发布分类法、数据集、编码协议和测试床,以支持可比较、与声明一致的 RAG 安全评估。

原文

Retrieval-augmented generation (RAG) systems face security, privacy, and copyright risks including content leakage, source reconstruction, unauthorized access, data poisoning, and prompt injection.

Yet RAG protection studies use incompatible evaluation metrics, datasets, and threat models.

We present a systematic survey and human-coded evidence map of 118 full-text-confirmed RAG defense papers, organized by measured endpoint rather than claimed goal or defense mechanism.

Our seven-family taxonomy covers content disclosure, formal privacy proxies, access control and suppression, corpus-use detection, and pipeline integrity and attribution.

Thirty-two annotators double-coded the papers kappa=0.867. The survey identifies three gaps.

First, retrieval reranking and context rewriting each span five or six endpoint families, so mechanisms do not identify protection outcomes.

Second, only 17.8% of studies use content disclosure or reconstruction as their primary endpoint; under the frozen copyright/ownership relation label, 73.3% of records have corpus-use detection as their primary endpoint, and none have an emitted-expression primary endpoint.

Third, most evaluations use general-purpose question-answering datasets and non-adaptive attacks rather than sensitive data and adaptive, multi-turn extraction.

Our controlled RAG testbed shows that preventing verbatim copying does not prevent private-fact recovery: a normalized 8-gram guard reduces 20-token copying to 0.0%, but a three-query adaptive attacker recovers 48.3% of hidden facts on Qwen3-8B.

We release the taxonomy, dataset, coding protocols, and testbed to enable comparable, claim-aligned RAG security evaluation.

0.0%

术语解释输出中与受保护源文完全匹配的 20-token 连续片段 降幅

归一化 8-gram 防护,三查询评估

48.3%

隐藏事实恢复

Qwen3-8B 自适应攻击

3.3%

单查询回忆

单查询后仅恢复 3.3%,第三轮跳升

42.5%

源文档重识别

术语解释响应是否被正确关联回确切的源文档(top-1 重识别命中),面对 8-gram 防护

66.7%→38.9%

人评实质恢复

Phi-4-14B 归一化防护降幅

注释 · 同一防御在不同终点上得分相反,证明消除字面复制不等于内容保护出自 §6.1 表 C.2

92%

报告改善

108/118 篇;9 篇混合,1 篇净退化

61%

高不确定风险

72 篇无 CI/随机种子/统计检验

0篇

重威胁定义

零篇高关注度威胁模型定义

48/118

自适应稳健低关注

仅 48 篇在自适应测试获低关注

109篇

评估独立性关注

仅 1 篇获低关注

注释 · 几乎全部研究由作者自测防自行实现的攻击,统计不确定性缺失出自 §5.3

分类族数
7 族 (A, A-pii, B–F)
子族数
17 个子族
标注字段
34 个结构化字段

深度总结

1 / 7
7 族
七族终点分类法· 要点卡片

防护被拆成 7 族测量终点:只有 A、A-pii、B 三族直接测量内容泄露

01

Family A

发出文本

生成文本是否逐字或近改写复制受保护源文;与 A-pii 合计仅 14 条记录

02

Family A-pii

PII

输出是否泄露姓名、电话、邮箱等可识别个人标识符

03

Family B

重建

攻击者能否经嵌入反演、索引残迹等在生成之外重建源文档;7 条记录

04

Family C

形式界

报告数学隐私界(如 ϵ=10)或似然位移,不测量实际泄露;6 条记录

05

Family D

访问抑制

未授权文档是否被检索、路由或回答;26 条记录,96% 报净改善

06

Family E

使用检测

审计者能否事后证明语料被索引或查询;18 条记录,版权类最集中

注释 · 记录的归族依据是其首要指标测量的技术事件,而非所用机制出自 §3.1 图 1