数据源与状态仍在导航菜单中
arxiv.org·2026/10/21
针对稀疏注意力索引器每层仍需全前缀扫描的问题,MLIPS 让 producer 运行完整索引器并发布宽于注意力预算的 top-M 候选池,同组 consumer 仅在该池内用自身索引器重新评分并选出自己的 top-K,只共享候选地址。跨 DeepSeek-V4-Flash、MiniMax-M3 和 GLM-5.1 的 traces 显示,宽池对 consumer 独立 top-K 的覆盖率远高于最终选择重叠。作者在 vLLM 中为 DeepSeek-V4-Flash 实现层间共享、持久解码重用和 coarse producer,并在 GB300 上评测 LongBench-v2、RULER-1M 等四个长上下文套件;每 producer 带三个 consumer 层时测得 1.14–1.40× 加速和 14.8–27.4% GPU 能耗节省,单次运行分数变化有限。更深层共享或固定步数解码池复用暴露任务相关质量损失;采样 prefill trace 还显示邻近 query 与稀疏层反复命中共享 KV 工作集,据此提出探索性 Top-G 池构造,覆盖随窗口扩大下降,部署与收益未验证。局限是仅单一 checkpoint 和硬件栈、每配置单次运行,操作模型未计入选择与内存成本。
为什么重要 为稀疏长上下文服务提供训练无关的推理加速路径,用候选池共享替代重复索引扫描,直接降低 GPU 算力与能耗。适合 关注稀疏注意力推理优化、vLLM 部署、长上下文模型服务的工程师。
稀疏注意力限制了每个 query 使用的 keys,但找到这些 keys 在每一层仍可能需要对全前缀进行扫描。我们提出 MLIPS(Multi-Layer Indexer Pool Sharing),一种免训练方法,在保留每个消费者自身打分与选择的前提下共享候选检索。生产者发布一个大于注意力预算 K 的 top-M 池;后续各层从该池中选出自己的 top-K。对三个稀疏注意力模型家族的测量表明,宽池带来的覆盖率显著高于最终选择之间的重叠度。
我们在 vLLM 中为 DeepSeek-V4-Flash 实现了逐层共享、持久 decode 复用以及一个粗粒度生产者。在四个长上下文测试集上,每个生产者配三个消费者层可获得 1.14–1.40× 的加速和 14.8–27.4% 的 GPU 能耗降低,单次运行中观察到的准确率变化为 −1.49 到 +0.29 个百分点。更大范围的共享会暴露出与任务相关的质量损失。采样的 prefill 轨迹还揭示了跨 query 组和跨层反复被选中的 KV 位置。我们刻画了这种共享工作集结构,并以此提出 Top-G——一种用于 prefill 的探索性有界池构建方法。其部署、任务准确率与服务收益仍是开放问题。
Sparse attention limits the keys used by each query, but finding those keys can still require a full-prefix scan at every layer.
We introduce MLIPS (Multi-Layer Indexer Pool Sharing), a training-free method that shares candidate search while retaining each consumer's own scoring and selection.
A producer publishes a top-M pool larger than the attention budget K; subsequent layers select their own top-K from that pool.
Measurements across three sparse-attention model families show substantially higher coverage from broad pools than overlap between final selections.
We implement layerwise sharing, persistent decode reuse, and a coarse producer in vLLM for DeepSeek-V4-Flash.
Across four long-context suites, three consumer layers per producer give 1.14--1.40× speedups and 14.8--27.4% lower GPU energy, with observed accuracy changes of $-1.49$ to $+0.29$ percentage points in single runs.
More extensive sharing exposes task-dependent quality losses. Sampled prefill traces also reveal recurring selected KV positions across query groups and layers.
We characterize this shared working-set structure and use it to motivate Top-G, an exploratory bounded pool construction for prefill.
Its deployment, task accuracy, and serving benefits remain open.
DeepSeek池覆盖
DeepSeek选择重叠
MiniMax M3覆盖
MiniMax M3重叠
注释 · 覆盖率为消费者独立 top-K 出现在生产者池中的比例。出自 §3



EVIDENCE / METHODS
表格
h=3 时,四套测试集提速 1.14-1.40x,能耗降低 14.8-27.4%。
| 测试集 | 分数变化 | 加速 | 能耗节省 |
|---|---|---|---|
| LongBench-v2 | -0.40 | 1.197x | 17.1% |
| RULER-1M | -0.29 | 1.398x | 27.4% |
| MRCR-v2 | -1.49 | 1.139x | 14.8% |
| GraphWalks | +0.29 | 1.326x | 23.7% |
注释 · 分数变化为与股票基线的差值,负值代表质量下降。出自 表 1
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。