项目安全对齐安全对齐医疗AI评测基准
xinxuxin/keystone-bench
AI 解读已生成 · AI 生成，数字以原文为准
把每条临床对话改成只动一个事实的孪生，检验模型与评分表是否跟着证据走。
Keystone 是面向临床聊天助手与评分 rubric 的决策—证据基准，针对原消息只按医生标准打分、无法检验关键事实被缺失、矛盾或替换后行动是否跟随证据的问题。它把 HealthBench 对话扩成只改单项的 twin，并配仅改写控制，逐条标注证据状态、可接受与禁止行动、关键问题；含 7419 个 twin、覆盖 1260 段对话，家族覆盖缺失、矛盾、人口属性变化、红旗与阈值跨越等扰动及阴性对照。评测由异厂商模型作 judge，把回复映射到行动标注，并同时评估医生 rubric 是否仍适用；经 pip 安装后用 keystone build 本地重建，再用 keystone run 接 OpenAI 兼容端点评测。官方在保留集核心层报告冲突证据、缺失证据与埋藏红旗均使禁用行动高于改写对照，其中冲突证据为 +0.284，阴性对照持平；现有标注仍为模型生成、跨厂商审核的 silver 层级，未经临床医生确认，不能替代临床验证。
- 17,419 条孪生覆盖 1,260 段临床对话
- 20.7.0 新增阈值扰动族，共 113 条孪生
- 3裁判必须来自与被测模型不同的厂商
为什么重要 临床助手的「证据敏感性」此前无从量化；该基准同时测模型动作与 physician rubric 的适用性，命令完整可直接接入评测流水线。适合 做 LLM 评测、安全对齐与临床问答落地的工程师
Star830
Fork3
语言Python
免 key 测试131 项
- 来源
- github.com
- 发布
- 2026/10/20
- 作者
- xinxuxin
- 安装
- pip install keystone-bench
- 版本
- 0.7.0
- 数据规模
- 7,419 孪生 / 1,260 源对话
- 源数据
- HealthBench（OpenAI, MIT）本地重建
- 运行依赖
- 任意 OpenAI 兼容端点 + 另一厂商裁判
- 1安装库$ pip install keystone-bench
- 2本地从 HealthBench 重建发布数据$ keystone build
- 3用仓库发布的 SHA-256 逐文件校验重建结果$ keystone build --check
- 4查看各族各层的数据构成$ keystone pairs
- 5先估调用数与 token 再跑$ keystone estimate --family all --rubric
- 6跑 quick 层全族并指定跨厂商裁判$ keystone run --family all --layer quick --model openrouter/openai/gpt-5.6-terra --judge openrouter/anthropic/claude-sonnet-5
深度总结
1 / 6它解决什么问题· 要点
现有临床聊天基准只用 physician 针对医生所见消息写下的 rubric 打分，无法衡量决定性事实缺失、被替换或被反驳时模型怎么做。
- 现有临床聊天基准只用 physician 针对医生所见消息写下的 rubric 打分，无法衡量决定性事实缺失、被替换或被反驳时模型怎么做。
- 也无法判断编辑之后 rubric 本身是否还适用。
- Keystone 给每条源对话配决策框，并配对只改一件事的孪生与不改内容的改写对照，让两者都可测。
- 主结局定义为动作层面的可接受/被禁止，每个判分项都进分母。