安全对齐 / 项目

AgentSafeLabs/safelabs-eval

github.com·2026/10/19·AgentSafeLabs

在 GitHub 查看

内容工具 · 模型与重新生成

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入

300 条提示词给 agent 做红队测试，检测全靠纯 Python，不调用 LLM。

1300 条提示词覆盖 10 类 agent 安全，每类 30 条
2检测走 5 个 pattern 检测器，不调用 LLM 判分
3语料仅英文单轮，类目编号与 OWASP 官方不一致

为什么重要　上线前能加一道零模型成本的 agent 安全回归，输出 JSON 可进 CI 与审计；但结果是检测器派生评估，UNCERTAIN 需人工复核。适合　要做 agent 上线前安全回归与 CI 审计的工程团队。

Star819

语言Python 3.11+

提示词300 条 / 10 类

检测成本0 次 LLM 调用

来源: github.com
发布: 2026/10/19
作者: AgentSafeLabs

接入方式: HTTP 端点或任意 Python callable
框架适配: LangChain、CrewAI、AutoGen、LlamaIndex 等
默认超时: 30s，可 --timeout 调整

1
安装
```
$ pip install safelabs-eval
```

对单个类目跑红队测试

$ safelabs run --target http://localhost:8000/chat --category ASI01

跑全部 300 条并输出 JSON 供 CI 使用

$ safelabs run --target http://localhost:8000/chat --category all --output json

带认证与更长超时

$ safelabs run --target https://my-agent.example.com/chat --category ASI01 --auth-header "Bearer sk-..." --timeout 60

包装任意 Python callable

$ import asyncio
  from safelabs import run_eval
  
  async def my_agent(prompt: str) -> str:
      return your_agent.run(prompt)
  
  result = asyncio.run(run_eval(my_agent, categories=["ASI01", "ASI06"]))
  result.summary()

浏览提示词库

$ safelabs list
  safelabs prompts --category ASI01
  safelabs prompts --severity critical

要点

它解决什么问题

基于 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel 或自建框架的 agent，可能在未做系统对抗安全测试的情况下直接上线。

基于 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel 或自建框架的 agent，可能在未做系统对抗安全测试的情况下直接上线。
框架给出 10 个 ASI 类目、300 条对抗提示词（每类 30 条），把 agent 安全评估变成一次可重复执行的测试。
检测阶段不调用 LLM，无额外判分成本，也不需要修改 agent 代码或部署 SafeLabs 专用基础设施。

300 条提示词给 agent 做红队测试，检测全靠纯 Python，不调用 LLM。

1300 条提示词覆盖 10 类 agent 安全，每类 30 条

2检测走 5 个 pattern 检测器，不调用 LLM 判分

3语料仅英文单轮，类目编号与 OWASP 官方不一致

Star819

语言Python 3.11+

提示词300 条 / 10 类

检测成本0 次 LLM 调用

来源

github.com

发布

2026/10/19

作者

AgentSafeLabs

$ import asyncio

from safelabs import run_eval

async def my_agent(prompt: str) -> str:

return your_agent.run(prompt)

result = asyncio.run(run_eval(my_agent, categories=["ASI01", "ASI06"]))

result.summary()

AgentSafeLabs/safelabs-eval

300 条提示词给 agent 做红队测试，检测全靠纯 Python，不调用 LLM。

项目概览

评估执行流程

快速上手 / 部署

配图

它解决什么问题

AgentSafeLabs/safelabs-eval

300 条提示词给 agent 做红队测试，检测全靠纯 Python，不调用 LLM。

项目概览

评估执行流程

快速上手 / 部署

配图

它解决什么问题