github.com·2026/10/21·headroomlabs-ai
Headroom 是本地运行的 LLM 上下文压缩层,在内容到达模型前压缩工具输出、日志、RAG 片段、文件和会话历史,数据不出本机。ContentRouter 按类型把 JSON 交给 SmartCrusher、代码交给 AST 感知的 CodeCompressor、文本交给 Kompress-v2-base;CacheAligner 标记会破坏前缀缓存的易变内容,CCR 本地保存原文供 headroom_retrieve 调取,输出侧另有 verbosity steering 与 effort routing 缩减写回开销。可通过 Python/TypeScript compress()、headroom proxy、headroom wrap 二十余种 agent 或 MCP 工具接入,并支持跨 agent 记忆与 headroom learn 挖掘失败会话写回 CLAUDE.md。官方四类真实 MCP 输出基准省 21%–57%,万 token 级 JSON 搜索结果的 p50 延迟 0.21 ms,GSM8K 不降分,SQuAD v2 与 BFCL 压缩下均 97%。限制是散文与已密集内容压缩有限、x86 无 AVX2 回退,企业级路由与安全需付费;项目以 Rust workspace 加 Python 扩展模块发布,支持 pip/uv/npm 安装。
为什么重要 不改代码即可对 Claude/Codex/Grok 等工作流统一省 token,数据留在本地;官方给出可复现基准与准确率对照。适合 跑 coding agent、想省 token 成本的智能体与工具链工程师
注释 · provider tokenizer 实测、seed 固定可复现;重复 JSON 与日志行在 latency 基准可清 90%出自 Proof 表
10K JSON p50
100K tokens
输出节省估算
95% CI 27.7%…35.7%
holdout 控制
HEADROOM_OUTPUT_HOLDOUT=0.1
注释 · 输出节省为反事实估计,附置信区间;holdout 可换 measured 值出自 README·Output token reductio
$ uv tool install --python 3.13 "headroom-ai[all]"
$ pip install "headroom-ai[all]"
$ npm install headroom-ai
在工具输出、日志、文件和 RAG 片段到达 LLM 之前进行压缩。编码智能体减少 20% token,JSON 减少 60-95% token,答案保持不变。提供库、代理、MCP server。
Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 20% fewer tokens for coding agents, 60-95% fewer tokens for JSON, same answers. Library, proxy, MCP server.
EVIDENCE / METHODS
表格
官方称 GSM8K ±0.000,SQuAD v2 与 BFCL 均达 97%
| Benchmark | 类别 | Baseline | Headroom | Delta |
|---|---|---|---|---|
| GSM8K | Math | 0.870 | 0.870 | ±0.000 |
| TruthfulQA | Factual | 0.530 | 0.560 | +0.030 |
| SQuAD v2 | QA | — | 97% | 19% 压缩下 |
| BFCL | Tools | — | 97% | 32% 压缩下 |
注释 · N=100,TruthfulQA ±0.03 落在置信区间内,无显著差异而非提升出自 Accuracy 表