数据源与状态仍在导航菜单中
arxiv.org·2026/10/23
低比特 LLM 推理中权重存储是瓶颈，向量量化率失真更好但 VQ-QAT 的几何与扩展性尚不清楚。SQuAT 将每个权重块分解为归一化方向和标量增益，方向用基于 E8 的球面码本（含新提出的等范数壳层截断 E8S 与 E8P12）量化，增益用 χ 分位数标量量化器独立量化，并对两者分别施加 straight-through estimator，使方向更新落在切空间并经归一化回投，形成球面优化。为扩展到大规模模型和 10B token 训练，作者采用分布式精确最近邻分配，各 worker 只通信离散索引，将训练时间降至 4.9 秒/迭代，实现 12.8× 提速。在 LLaMA 与 Qwen 系列指令微调及基座模型上，以相同量化器和 PTQ 初始化比较，2.25 bpw 下 SQuAT 几乎全面超过 INT-QAT，并在 Qwen 系列上把 MMLU 提升至 69.5%，也超过标准 joint-STE VQ-QAT 和 QTIP/QuIP# 等基线的下游精度。评测限于 E8P12/E8S 两类码本与当前模型规模，E8S 尚缺高效反量化器。
为什么重要 首次把精确最近邻 VQ-QAT 扩展到十亿参数、10B token，给出可复用的训练侧加速方案（fused kernel、index caching、分布式赋值）。适合 做低比特量化训练、VQ 推理加速与训练基础设施优化的工程师
向量量化（VQ），尤其是基于格的方法，为低比特大语言模型（LLMs）提供了强率失真权衡，但它们在量化感知训练（VQ-QAT）下的行为仍缺乏理解。我们将格 VQ-QAT 扩展到十亿参数 LLM 和多十亿 token 训练规模，并提出 SQuAT，一种 shape-gain VQ-QAT 方法，对 shape 和 gain 分别使用独立的 straight-through estimator（STE）训练。
SQuAT 将权重分解为方向和幅度：归一化方向使用由 E8 导出的球形码本进行量化，而增益则用低比特标量量化器独立量化。我们表明，与忽略 shape-gain 结构、应用于完整量化器的标准 STE 不同，这些独立的 STE 会在方向上诱发切空间更新，从而产生隐式的球面（Riemannian）优化形式。
为了实现可扩展性，我们开发了一种分布式精确最近邻分配方案，其中 worker 对不相交的权重块进行量化并仅通信离散索引，将 VQ-QAT 训练时间减少 12.8 倍，并使我们能将其扩展到 10B token。在指令微调的 LLaMA-3.2-1B/3B、Qwen3-4B 和基座 Qwen3-1.7B 上，SQuAT 在相同量化器和初始化条件下持续优于标准 VQ-QAT STE，并达到 SOTA VQ-QAT 精度。
Vector quantization (VQ), in particular lattice-based methods, offer strong rate-distortion trade-offs for low-bit large language models (LLMs), yet their behavior under quantization-aware training (VQ-QAT) remains poorly understood.
We scale lattice VQ-QAT to billion-parameter LLMs and multi-billion-token training regimes, and introduce SQuAT, a shape-gain VQ-QAT approach trained with a separate straight-through estimator (STE) for the shape and gain.
SQuAT decomposes weights into direction and magnitude: normalized directions are quantized using an E8-derived spherical codebook, while gains are quantized independently with low-bit scalar quantizers.
We show that, unlike a standard STE applied to the full quantizer, which ignores the shape-gain structure, these separate STEs induce tangent-space updates for directions, yielding an implicit form of spherical (Riemannian) optimization.
To enable scalability, we develop a distributed exact nearest-neighbor assignment scheme, in which workers quantize disjoint weight blocks and communicate only discrete indices, reducing VQ-QAT training time by 12.8× and allowing us to scale it to 10B tokens.
Across instruction-tuned LLaMA-3.2-1B/3B, Qwen3-4B, and base Qwen3-1.7B, SQuAT consistently outperforms standard VQ-QAT STE under identical quantizers and initialization, and achieves SOTA VQ-QAT accuracy.
原始 VQ-QAT
术语解释从 E8 低范数壳层枚举的归一化球面码本，支持分数位宽 优化后
INT2 参考
BF16 参考
注释 · 该数据来自 LLaMA-3.2-1B 上 术语解释从 E8 低范数壳层枚举的归一化球面码本，支持分数位宽 的精确最近邻赋值，逐步叠加 Triton kernel、索引缓存与分片赋值。出自 §3.4 / Figure 3
EVIDENCE / METHODS
流程
分离 术语解释把不可导量化的梯度按恒等映射近似的训练技巧 使形状更新沿切平面再进行归一化，获得球面优化
每个权重块 w 表示为形状 s 与增益 γ，s 归一化到单位球面。
用 E8 派生球面码本按内积最近邻选择码字。
用 chi-quantile 标量量化器量化 γ，位宽为 bγ。
重建 ŵ={^γ}ŝ，用于模拟推理端量化。
对 shape 和 gain 量化器分别用 术语解释把不可导量化的梯度按恒等映射近似的训练技巧，而不是对整体量化器用联合 STE。
形状沿切平面 Ps g 更新并归一化作为 retraction，增益走欧氏更新。
注释 · 关键是 术语解释把不可导量化的梯度按恒等映射近似的训练技巧 只分别通过 shape 和 gain 量化器，不共同通过重建后的权重，从而改变梯度流。出自 §3.2
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。