安全对齐 / 博客
Closing the Binary Blind Spot: Domain-Knowledge Injection for LLM Malware Triage in npm Packages
- 发布方
- Databricks
- 扫描对象
- npm registry 包版本
- 样本来源
- 2025 年 11 月起采集，OSV 交叉确认
- 静态工具链
- YARA、Semgrep、npm registry API
- 评测模型
- 9 个模型 / 7 家提供方
- 推理设置
- temperature 0，输出上限 8192 tokens
之前 / 基线现在 / 本方案
GPT-5.4-nano唯一未达满分的模型，3 个 payload 仍停在 suspicious
0/10
7/10
Qwen3-Next 80B
1/10
10/10
Llama 3.1 8B
4/10
10/10
Gemma 3 12B
5/10
10/10
Claude Haiku 4.5
6/10
10/10
方法、结果与局限
1 / 5
要点
发布了什么
Databricks 公开一套 npm 恶意包扫描流水线，以及在不改模型权重、只在推理时注入静态证据的 术语解释把一种恶意技术声明式编码为对静态证据的加权条件与三档阈值，触发即向提示词注入摘要 机制。
- Databricks 公开一套 npm 恶意包扫描流水线，以及在不改模型权重、只在推理时注入静态证据的 capability profile 机制。
- 样本自 2025 年 11 月起持续采集，经 OSV npm 恶意公告交叉确认为 11,413 个包版本。
- 其中 96.2% 把 payload 藏在包源码里或从外部服务器拉取，仅 **3.8%（432 个）**打包了二进制。
- 扫描流水线在 tarball 上跑 YARA、在 JavaScript 与 metadata 上跑 Semgrep 和 npm registry API，再用二进制分析模块处理编译产物，最多允许模型追加索取文件 3 轮。