大模型 / 论文

Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization

arxiv.org·2026/10/23

内容工具 · 模型与重新生成

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入基于论文全文 3.7 万字 · 完整阅读

OPTIC 压缩 Gemma 4 E4B PLE 约 100×，保留 97.8%，省 29.7% 显存。

嵌入容量扩展趋势使高压缩率更有用。针对 Gemma 逐层嵌入 PLE 占参数比例大、传统量化在极端压缩下失效的问题，论文提出 OPTIC：每个 token 存一组跨层共享量化码，各层用仿射解码器还原，并把码本与解码器拟合到门控和输出投影后的误差；拟合用自然文本与全词表合成记录交替优化。作者在原始浮点与官方量化 Gemma 检查点上，以多任务基准对比多个传统基线，报告约 $100 \times$ 压缩相对未压缩 PLE 保留 97.8% 与 96.9%，最强基线 PQ 仅 66.3%；更高压缩率下仍优于行式量化。紧凑码直接推理使 GPU 内存降低 29.7%，挂钟时间几乎不增。局限是仅评估 Gemma，主结果固定拟合种子，基线为适配版。

1约 100× 压缩 BF16 E4B，OPTIC 保留 97.8%，PQ 基线仅 66.3%。
2RTX 4090 固定 1 GiB KV，BF16 显存 18.57→13.05 GB。
3594×/1002× 保留 90.5%/84.1%，row-wise PCA-PQ 归零。

为什么重要　PLE 占 E4B 参数 35.2%，本文给出极端压缩的拟合配方、校准数据与 vLLM 实测，直接服务 Gemma 4 类 embedding-heavy 部署。适合　做 LLM 部署/量化、embedding-heavy 模型工程或 Gemma 4 落地的工程师与研究者。

来源: arxiv.org
发布: 2026/10/23

中文（AI 翻译）

随着 Transformer 计算量扩展嵌入容量，是语言模型中的一个新兴趋势。这一趋势使高压缩率越来越有用。因此，我们研究 Per-Layer Embeddings（PLE）的极限压缩；PLE 遵循这一趋势，并占 Gemma 4 E4B 参数的 35.2%。

在这种压缩率下，传统量化器会为每个 token-layer 向量分配仅几个字节的独立编码。我们转而开发了 OPTIC（Output-Path-fitted, Token-shared Indexed Codes），它为每个 token 存储一个量化编码元组，并在每一层使用层特定的仿射解码器进行解码。编码和解码器拟合的是 PLE 输出路径，而不是存储的向量。

在约 100× 的 bfloat16（BF16）E4B PLE 压缩下，OPTIC 在七个基准上总体保留未压缩模型性能的 97.8%，而六种传统基线中最强的 product quantization 保留 66.3%。在 594× 和 1,002× 的 BF16 E4B PLE 压缩下，OPTIC 保留 90.5% 和 84.1%。

在采用 4-bit 线性权重和 16-bit 激活（W4A16）的官方 E4B 发布版本上，OPTIC 在约 100× PLE 压缩下保留 96.9%。在约 100× PLE 压缩的推理过程中，BF16 E4B 在相同 key-value cache 大小下比未压缩 PLE 少使用 29.7% GPU 内存，同时最多慢 0.40%。

原文

Scaling embedding capacity alongside Transformer computation is an emerging trend in language models. This trend makes high compression rates increasingly useful.

Hence, we study extreme compression of Per-Layer Embeddings (PLE), which follow this trend and account for 35.2% of the parameters of Gemma 4 E4B.

At such rates, conventional quantizers give each token-layer vector its own code of only a few bytes.

We instead develop OPTIC (Output-Path-fitted, Token-shared Indexed Codes), which stores one quantized code tuple per token and decodes it at every layer with a layer-specific affine decoder.

Codes and decoders are fitted to the PLE output path rather than to the stored vectors.

At about $100 \times$ PLE compression of bfloat16 (BF16) E4B, OPTIC retains an aggregate 97.8% of the uncompressed model's performance across seven benchmarks, whereas product quantization, the strongest of six conventional baselines, retains 66.3%.

At $594 \times$ and $1, 002 \times$ PLE compression of BF16 E4B, OPTIC retains 90.5% and 84.1%.

On the official E4B release with 4-bit linear weights and 16-bit activations (W4A16), OPTIC retains 96.9% at about $100 \times$ PLE compression.

During inference at about $100 \times$ PLE compression, BF16 E4B uses 29.7% less GPU memory than with uncompressed PLE at the same key-value cache size, while running at most 0.40% slower.

97.8%

BF16 E4B 保留

七任务几何均值

66.3%

最强基线保留

PQ，BF16 E4B

96.9%

W4A16 E4B 保留

官方发布

29.7%

BF16 显存节省

固定 1GiB KV

≤0.40%

BF16 推理减速

8 个 prefill/生成负载

注释 · 保留值为七任务 capped per-task 几何均值；推理在 RTX 4090 上一卡实测。出自 Table 1 & Table 7

OPTIC
97.8%
PQ
66.3%
RVQ
37.6%
-P
52.4%
AQ
45.6%
AQLM
46.7%
PCA-PQ
93.3%

注释 · 七任务保留；AQLM 为 Euclidean beam encoder 基线。出自 Table 1

42 层原 BF16 E4B PLE 主方向累计方差覆盖；存储坐标要 212–227 个方向达 90%，输出路径只要 1–205 个、中位 158；虚线 20 是独立隐码宽。

E2B PLE占比: 45.8%
E4B PLE占比: 35.2%
词表大小: 262,144
PLE 层数: 42
PLE 宽度: 256
E4B向量数: 11M token-layer
近100×配置: $Z = 644$ $M = 161$ $K = 256$
压缩比: 99.94×

表格

四个主对比的 bootstrap 区间

E4B BF16 下 OPTIC 区间 95.5–99.0%，与 PQ 的 60.6–70.5% 完全分离。

设置	方法	保留 (95% 区间)	最强基线	基线保留 (95% 区间)
E2B BF16	OPTIC	89.1 [85.8, 91.8]	PQ	22.9 [0.0, 28.8]
E4B BF16	OPTIC	97.8 [95.5, 99.0]	PQ	66.3 [60.6, 70.5]
E2B W4A16	OPTIC	91.5 [89.3, 93.3]	AQLM	32.0 [0.0, 38.9]
E4B W4A16	OPTIC	96.9 [93.9, 97.8]	AQLM	82.8 [76.8, 87.1]

注释 · 所有值为七任务保留的 95% paired-bootstrap 区间。出自 Table 2