AI 研究助理

基于站内最新资料,回答 AI 前沿问题

回答带出处引用,支持多轮追问,当前页面内容会作为上下文

快速响应
AI 前沿跟踪
今日首页重点内容GitHub 趋势榜
领域
学术研究
大模型
具身智能
AI 基础设施
智能体 · Skill · MCP
机器人
多模态
自动驾驶
数据 / MLOps
AI 硬件
安全对齐
综述与报告
博客大模型形式化验证软件安全ClaudeLLM

Claude digs up bugs that survived trillions of tests across open-source software

阅读原文
AI 解读已生成 · AI 生成,数字以原文为准
AI 全文总结快速浏览基于页面正文 3787 字 · 完整阅读

Claude 形式化验证 123 个库,发现数百隐藏 bug

Anthropic 与 Theorem 用 Claude 对 123 个开源库的 RISC-V 汇编做形式化验证,目标是弥补模糊测试无法穷尽输入的短板。其做法是把已有模糊测试转成数学规范,再为 239 个程序入口点生成在定义条件下不会崩溃的证明;官方称该流程发现大量长期未被自动测试捕获的缺陷。Claude 共生成约 180 million 行证明代码,交由 Rocq 独立检查,无需人工逐行审阅,并可修补漏洞后为新代码重新证明。案例包括解压路径的计数器下溢触发越界写、图像解码器在极端输入下失败、文件句柄序列导致越界读、重新发现 libexpat 已知漏洞,以及绕过文件加载限制的逻辑缺陷。作者强调证明只覆盖单线程、静态链接的 RISC-V 程序和建模 Linux 环境,不能保证未描述属性,未来将通过模型改进与证明复用降低共享库验证成本。

  1. 1239 个入口点获得无崩溃证明
  2. 2生成约 180M 行证明代码
  3. 3保证仅限单线程 RISC-V 程序

为什么重要 它把 LLM 用于编译级证明生成,为共享库安全保证提供可复用路径;但范围受限于 RISC-V 与既定规范。适合 做安全验证、AI 测试与基础库维护的工程师

来源
interestingengineering.com
发布
2026/10/23
作者
Aamir Khollam
验证对象
123 open-source libraries
入口点
239 program entry points
证明代码
约 180M lines proof code
典型证明
约 600,000 lines
检查工具
Rocq
600,000行

典型证明

单条证明规模

约 20 MB

解压输入

触发 counter underflow

64MB

图像输入

图像解码器失败条件

注释 · 大证明与极端输入解释为何常规测试难覆盖。出自 正文

中文(AI 翻译)

Anthropic 表示,其 Claude 模型已在 123 个开源软件库中完成了安全属性的形式化验证,并在此过程中发现了数百个 bug。其中一些缺陷尽管经历了数万亿次自动化测试运行,仍多年未被发现。该项目与软件验证公司 Theorem 合作完成,将数学证明直接应用于编译后的机器代码。研究人员表示,这种方法有望让严格的软件验证在更广泛的项目中变得切实可行。

这项工作针对的是一个日益严峻的安全问题。自动化工具如今已能在成熟软件中发现漏洞,这促使开发者寻找更强的手段来预防可被利用的缺陷。形式化验证提供了一个可能的答案:证明代码在给定条件下遵循特定规则。

Claude 发现隐藏 bug

传统软件测试通过让程序运行选定的输入来暴露故障。Fuzzing 工具会生成大量异常输入,但无法穷尽所有可能的组合。Anthropic 利用 Claude 将现有的 fuzz 测试转化为数学规约。随后,该模型生成了证明,表明 123 个库中的 239 个程序入口点在给定条件下不会崩溃。研究人员处理的是 RISC-V 汇编代码,它表示处理器执行的指令。Claude 生成了约 180 million 行证明代码。

原文

Anthropic says its Claude model has formally verified security properties in 123 open-source software libraries,...

深度总结

1 / 7
从 fuzz 到机器证明· 流程

Claude 把既有 fuzz tests 转成规范并生成证明

  1. 01
    复用既有测试

    以现有 fuzz tests 作为来源,转换为数学规范。

  2. 02
    生成证明

    Claude 为 239 个入口点生成不崩溃证明代码。

  3. 03
    独立检查

    术语解释独立的证明检查器,用来核对 Claude 生成证明是否符合规范 依据规范检查证明,开发者无需逐行人工审阅。

  4. 04
    修复再验证

    Claude 可修补发现的 bug,并为更新代码生成新证明。

注释 · 术语解释独立的证明检查器,用来核对 Claude 生成证明是否符合规范 独立检查避免人工逐行读证明。出自 正文