Skip to content

模型量化:从仿射映射到 GPTQ、AWQ 与 FP8

推导仿射量化数学原理,解析离群值及 SmoothQuant、GPTQ、AWQ 与 FP8 部署。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是模型量化(Quantization)?

大模型权重默认用 16 位浮点数(BF16/FP16,占 2 字节)存储,一个 70B 模型光装权重就要 140GB 显存。模型量化 就是用更少的比特数——比如 8 位(FP8/INT8)甚至 4 位整数(INT4,仅 0.5 字节)——来近似表示原本的精细小数,把显存占用和搬运带宽直接砍掉一半到四分之三。

量化最难的地方在于保护极少数“数值极大、极其关键”的离群通道,于是诞生了 SmoothQuant、GPTQ、AWQ 等一系列保精度黑科技。

01 问题从何而来:把大象塞进冰箱,却被 0.1% 的“摩天大楼”卡住了 ​

一个 700 亿参数(70B)的大模型,在标准 FP16/BF16 混合精度 下,光是把权重乖乖装进显存就需要整整 140 GB——这还没算 KV Cache!而且单人推理时,每吐一个字 GPU 都要把这 140 GB 完整搬一遍。要是能把每个参数从 16 位压成 8 位甚至 4 位,显存瞬间砍掉一半到四分之三,搬运速度直接快 2×–4×,这听起来多美好!

可当大家在 2022 年兴冲冲地把传统视觉模型的“最大值-最小值均匀量化”搬到大模型上时,离奇的一幕发生了:模型规模小于 60 亿时好好的,一跨过 6.7B 参数门槛,常规 INT8 量化一上手,模型立刻语无伦次、困惑度雪崩!

类比 · 同一把尺子量摩天大楼和蚂蚁

Dettmers 等人(LLM.int8(), 2022 ↗)揭开了谜底:大模型一旦长大,在几乎所有层的隐藏特征(激活值)里,会有大约 0.1% 的固定通道系统性地长出比正常值大 20 到 100 倍的极端尖峰,称为涌现激活离群值(Emergent Outliers)。

想象你手里只有一把 16 个刻度的 4-bit 短尺子,却被迫同时去量一栋 100 米高的摩天大楼(那 0.1% 的离群通道)和地上几千只 1 毫米长的蚂蚁(其余 99.9% 的正常语义特征)。为了不让摩天大楼超出量程,每个刻度被迫拉大到 6 米——结果所有蚂蚁全被四舍五入压缩成了 0,模型的精细语义瞬间毁于一旦!

核心设问

既不能粗暴截断那 0.1% 承载关键信号的“摩天大楼”,又不愿因为照顾它们而压扁其余 99.9% 的正常特征——怎么用极低的硬件代价,把大模型稳稳压进 8-bit 甚至 4-bit?

02 核心直觉与生活类比 ​

过去几年最经典的 LLM 量化算法,几乎全是围绕“怎么和这 0.1% 的离群值斗智斗勇”展开的。三条代表性妙计,一听类比就彻底通透:

类比 · 挑担子、拆东墙补西墙、给重要人物发 VIP 放大镜
  1. SmoothQuant:给激活和权重“匀匀担子”(arXiv:2211.10438 ↗) 激活值里全是高耸入云的尖峰(极难量化),而旁边的权重矩阵却平平坦坦(很好量化)。既然做乘法 X⋅W 时,把 X 的某一列除以 s、同时把 W 对应那一行乘以 s,乘积一分不差!那干脆把激活的“山峰”削平一半,把多余的高度匀给原本平坦的权重去分担。两边都变得温顺平缓,就能双双放进高速 W8A8 纯 INT8 硬件里飞奔。
  2. GPTQ:拆东墙补西墙的“精细赔付”(arXiv:2210.17323 ↗) 专攻 W4A16(权重压成 4-bit,算前还原回 FP16)。你把第 1 列权重四舍五入成 4-bit 整数时,肯定产生了一点小误差;GPTQ 立刻借用二阶海森矩阵算出一笔精确的补偿账,顺手微调后面还没量化的权重列,把刚才那一列弄丢的输出精准兜回来!像走平衡木一样一列压完、后面几列立刻反向倾斜稳住重心。
  3. AWQ:激活指路,给 1% 核心通道发放大镜(arXiv:2306.00978 ↗) AWQ 发现大模型里真正金贵的权重通道不到 1%,而且千万别按权重本身大小挑,要看谁正对着那 0.1% 的巨幅激活通道——因为 100 倍激活乘以哪怕 0.01 的权重舍入误差,也会被放大成 1.0 的大祸!AWQ 不改权重也不走混合精度,而是把这 1% 显著权重通道提前放大 s 倍再放进 4-bit 尺子里量(同时把输入缩小 s 倍保持等价)。相当于用放大镜量关键人物,舍入误差直接缩小到原来的 1/s!

而如今数据中心最火的 FP8(E4M3) 则换了一种思路:整数刻度是均匀等距的,而浮点数自带“对数刻度”——靠近 0 的地方刻度极密(能看清蚂蚁),远离 0 的地方刻度自动拉宽(也装得下摩天大楼)。配合细粒度分块缩放(如 DeepSeek-V3 arXiv:2412.19437 ↗ 的块级 FP8),在 H100/H200 原生 FP8 Tensor Core 上直接兑现双倍算力与近乎无损的精度。

至于在个人笔记本、Mac Studio 或消费级显卡上跑本地大模型,大家最熟悉的 GGUF(llama.cpp) 则把“精打细算”玩到了极致:

类比 · 超级块与“好钢用在刀刃上”:GGUF 的 K-Quants

把传统每 128 个权重存一个 FP16 缩放因子想象成“给每个小箱子贴一张昂贵的金属铭牌”。GGUF 的 Q4_K_M 干脆把 256 个权重打包成一个超级块,里面分成 8 个小箱子,再把这 8 张小铭牌本身也二次量化成 6-bit 整数省下元数据空间;同时它深知注意力里的 v_proj 和输出层特别娇贵,自动给这些关键层多拨 6-bit 预算,给钝感层压到 4-bit,最终用平均 4.8 bit/参数 榨出了惊人的本地推理画质。

03 把关键公式读成人话 ​

先看所有量化方法的底座——非对称均匀仿射量化:

q=clamp(round(xs)+z,0,2b−1),x^=s⋅(q−z)

把公式读成直觉:- b 是目标位宽(4-bit 就有 24=16 个格子,8-bit 有 256 个格子)。

  • s(Scale,缩放步长)决定了“每一格代表多大跨度”;z(Zero-Point,零点)用来对齐原始数据不对称的起点,确保实数 0 能精准落在某个整数格上。
  • 如果强制令 z=0 就是对称量化:矩阵乘法时少算一项零点交叉修正,硬件更快;为了不让整张大矩阵共用一把尺子,INT4 通常采用 Per-Group 分组量化(每连续 128 个权重配一把专属小尺子),仅多花不到 0.5 bit 的元数据,精度就天差地别。

再看 SmoothQuant 和 AWQ 共同依赖的那条极其优雅的等价通道缩放恒等式:

Y=XW=(Xdiag(s)−1)(diag(s)W)

把公式读成直觉:- 中间插进一对互为倒数的对角矩阵 diag(s)−1 和 diag(s),乘法结果在实数域里严格恒等。

  • 妙在离线融合:左边那个 diag(s)−1 可以直接揉进前一层 RMSNorm / LayerNorm 的缩放参数里,运行时零额外计算;右边那个 diag(s) 直接乘进静态权重里再离线量化。
  • SmoothQuant 用它把激活尖峰削平以解锁 W8A8,AWQ 用它把显著权重放大以保护 W4A16——同一条线性代数恒等式,开出了两朵最灿烂的工程之花。

04 它在模型里怎么工作 & 与上下游的关系 ​

量化几乎贯穿了大模型落地部署的每一个环节:

  • 上游与架构和训练衔接:它沿袭了预训练阶段的 混合精度数值体系,并通过融合前序 归一化层 的缩放权重消除额外开销;在训练微调侧,4-bit NormalFloat 量化与低秩适配器联手,诞生了单卡可训大模型的 QLoRA。
  • 横向配合推理基础设施:纯算法压到 4-bit 不会自动变快,必须配合像 Marlin(arXiv:2408.11743 ↗)这样的融合反量化 CUDA 算子,把解包指令藏进显存搬运流水线里,才能真正打破 KV Cache 与显存带宽墙。
  • 下游与其他加速手段正交叠加:量化和 知识蒸馏与剪枝 互补(前者压位宽、后者砍参数量);在 投机解码 中,把草稿小模型激进量化到 INT4 更是黄金搭档——草稿越轻跑得越快,最终精度还有全精度大模型兜底。

05 演化对比与避坑备忘 ​

量化路线位宽形态核心杀手锏最适合的战场代表推理引擎
LLM.int8() (arXiv ↗)W8A8 + FP16 离群动态拆出 0.1% 离群列单独算 FP16零校准省显存(延迟偏慢)bitsandbytes / HF
SmoothQuant (arXiv ↗)W8A8 (INT8)通道平滑把激活尖峰匀给权重老一代 A100/L4 上 W8A8 加速TensorRT-LLM / vLLM
FP8 (E4M3)W8A8 (FP8)对数动态范围 + 块级缩放 + 硬件双倍算力H100 / H200 高并发数据中心首选vLLM / SGLang
GPTQ (arXiv ↗)W4A16 / W3A16逆海森二阶误差逐列赔付显存吃紧、单/低并发极致压体积vLLM (Marlin) / ExLlama
AWQ (arXiv ↗)W4A16激活感知缩放保护 1% 显著权重,不改原权重跨领域最稳健的 4-bit 通用方案vLLM (Marlin) / SGLang
GGUF (Q4_K_M)混合 4–6 bit超级块二级量化 + 敏感层自动给高比特笔记本 CPU、Apple Silicon 本地跑llama.cpp / Ollama

量化上线前,务必牢记这三条血泪教训:

  1. 选 W4A16 还是 FP8,全看你的并发有多高:单人或低并发(显存带宽受限)选 AWQ W4A16 + Marlin,权重缩 4 倍直接换近 3 倍吐字加速;但在 H100 上跑大并发在线服务(计算受限)时,W4A16 反量化还要多耗指令且算力仍是 FP16,原生 FP8 (W8A8) 才是碾压级的吞吐王者。
  2. 绝不要“一刀切”量化所有层:词嵌入层(Embedding)、最终输出头(LM Head)以及 MoE 路由门控(Router Gate) 参数占比极小,却直接左右选词和专家分配,一旦压到 4-bit 效果立崩,工程上一律留给 FP16/BF16。
  3. 别只盯着困惑度(Perplexity),要测数学和代码:GPTQ 若只用单一英文维基校准极易过拟合,在中文或代码上掉点;而低于 4-bit(INT3/INT2)时,表面上流畅度几乎没变,复杂数学推理却常出现隐蔽的逻辑跳步——上线前必须用 GSM8K、HumanEval、IFEval 等硬基准把关。
  4. PTQ 与 QAT 的成本账要算清:绝大多数 7B–70B 模型的 8-bit 和 4-bit 部署,用 PTQ(后训练量化) 只需 128 条校准文本、十几分钟就能接近无损,完全没必要大动干戈重训;只有当你真想把模型往 INT2 甚至 1.58-bit(BitNet) 极限压榨时,才值得祭出带直通估计器(STE)的 QAT(量化感知训练)。

需要查阅 GPTQ Cholesky 逆海森推导、AWQ 误差收缩证明、GGUF 超级块结构与 AWQ vs SmoothQuant 对比 PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

大语言模型动辄数百亿乃至数千亿参数,在 混合精度 FP16/BF16 下仅存储一个 70B 模型的权重就需要约 140 GB 显存,且自回归解码阶段的性能几乎完全受制于 KV Cache 与显存带宽墙。模型量化(Quantization) 通过将连续高精度浮点权重或激活值(FP16/BF16)映射为低比特整数或低精度浮点(INT8、INT4、FP8),在不改变网络拓扑结构的前提下,同时实现显存占用削减 2×–4× 与推理吞吐大幅跃升,并可与 QLoRA 微调、投机解码 以及 知识蒸馏与剪枝 正交叠加,已成为大模型落地的必选基础设施。

直观理解

如果把原始 FP16 权重比作精确到微米的游标卡尺刻度,量化就像把刻度换算成格数更少但读写飞快的普通直尺(例如 4-bit 只有 16 个离散刻度)。如果所有数据分布均匀,粗刻度完全够用;但大模型激活值中偏偏混入了极少数高达上百倍的“摩天大楼”(离群值),若强行用同一把尺子量摩天大楼和蚂蚁,蚂蚁就会全部被压缩成 0。现代 LLM 量化算法(SmoothQuant、GPTQ、AWQ 等)的全部智慧,本质上都是在与这些离群值巧妙博弈。

问题动机与演进背景 ​

在卷积神经网络与小规模 BERT 时代,简单的 Min-Max 后训练量化(PTQ)即可将模型无损压至 INT8。然而,当 Transformer 参数规模跨过约 6.7B 临界点时,Dettmers 等人(2022)发现了震撼业界的涌现激活离群值(Emergent Activation Outliers) 现象:

  • 在几乎所有层和所有 Token 位置上,隐藏状态张量的极少数固定特征通道(约占总维度的 0.1%)会系统性地出现幅值比正常值大 20×–100× 的极端离群值;
  • 一旦对激活张量执行常规量化,量化步长 s 被迫拉大以包裹离群值,导致其余 99.9% 的正常特征落入极少离散桶内,模型困惑度(Perplexity)瞬间雪崩;
  • 即使仅对权重做 INT4 量化(W4A16),与这些离群激活通道相乘的那极少数显著权重通道(Salient Weights) 哪怕产生微小舍入误差,也会被巨幅激活放大数十倍,严重破坏输出精度。

围绕如何以极低硬件开销化解离群值误差,LLM 量化演进出了两条主线:W8A8 全量化(权重与激活均量化,追求计算与访存双加速,如 LLM.int8()、SmoothQuant、FP8) 与 W4A16 仅权重量化(权重压至 4-bit、计算前反量化回 FP16,极致压缩显存并加速 Decode 访存,如 GPTQ、AWQ、GGUF)。

核心原理与数学推导 ​

1. 均匀仿射量化(Uniform Affine Quantization) ​

给定待量化的实数张量 x∈[xmin,xmax] 与目标位宽 b(如 b=4 或 8):

  • 非对称量化(Asymmetric Quantization):引入缩放因子(Scale)s∈R+ 与零点偏移(Zero-Point)z∈Z,将实数区间线性映射至整数区间 [0,2b−1]:
s=xmax−xmin2b−1,z=round(−xmins)q=clamp(round(xs)+z,0,2b−1),x^=s⋅(q−z)
  • 对称量化(Symmetric Quantization):强制令 z=0,以原点对称范围 [−α,α](其中 α=max(|xmin|,|xmax|))映射至 [−2b−1+1,2b−1−1]:
s=α2b−1−1,q=clamp(round(xs),−2b−1+1,2b−1−1),x^=s⋅q

对称量化在矩阵乘时省去了涉及零点 z 的额外交叉修正项,硬件执行更高效。

  • 量化粒度(Granularity):缩放因子 s 的共享范围越细,精度越高但元数据开销越大:

    • Per-Tensor:整张张量共享单一 (s,z),误差最大;
    • Per-Channel / Per-Token:权重按输出通道独立量化、激活按 Token 行独立量化,常用于 INT8;
    • Per-Group(分组量化):将每个权重行按连续 g 个元素(典型 g=128 或 64)切组并各自保存一组 FP16 缩放参数,在仅增加约 0.25–0.5 bit/param 存储开销下大幅提升 INT4 精度。
  • PTQ vs QAT:后训练量化(PTQ) 仅需数百条无标注校准数据(Calibration Set),耗时数分钟即可完成,是超大模型的主流方案;量化感知训练(QAT) 在训练前向插入伪量化节点(Fake Quantization),并在反向传播中借助直通估计器(Straight-Through Estimator, STE) 近似不可导的取整函数梯度 ∂round(x)∂x≈1,可将极限低比特(如 INT2 / 1.58-bit BitNet)推至更高精度,但训练成本高昂。

2. LLM.int8() 与 SmoothQuant(激活离群值治理) ​

  • LLM.int8()(Dettmers et al., 2022,arXiv:2208.07339 ↗):采用混合精度分解策略。前向传播时动态检测超过阈值(如 |X:,j|>6.0)的离群激活列,将矩阵乘拆分为占 99.9% 的常规 INT8 矩阵乘与占 0.1% 的 FP16 离群子矩阵乘,最后将结果相加。它首次实现了 175B 模型的零退化 INT8 推理,但由于需要在线抽取离群列并触发两次矩阵乘,实际延迟往往慢于 FP16。
  • SmoothQuant(Xiao et al., 2023,arXiv:2211.10438 ↗):深刻洞见到“激活分布尖锐难量化,而权重分布平坦易量化”,提出用数学上严格等价的逐通道对角矩阵 diag(s) 将量化难度从激活平滑迁移到权重:
Y=XW=(Xdiag(s)−1)(diag(s)W)=X^W^

对于第 j 个输入通道,平滑因子由激活峰值与权重峰值的几何加权决定(通常迁移强度超参 α=0.5):

sj=max(|X:,j|)αmax(|Wj,:|)1−α

经平滑后,X^ 的极端尖峰被削平,W^ 仍保持温和动态范围,且 diag(s)−1 可离线融合进前序 LayerNorm / RMSNorm 的缩放参数中实现零运行时开销,从而顺利启用高速 W8A8 纯 INT8 Tensor Core 计算。

3. GPTQ:二阶海森矩阵误差补偿(W4A16) ​

GPTQ(Frantar et al., 2022,arXiv:2210.17323 ↗)将经典 Optimal Brain Quantization(OBQ)扩展至百亿级大模型。它逐层最小化量化前后的线性层输出重构误差:

arg⁡minW^‖WX−W^X‖22

该二次优化问题的海森矩阵(Hessian)在同一行所有通道间共享,由校准激活计算得到 H=2XX⊤+λI。当按列依次量化第 q 个权重时,量化误差 wq−quant(wq) 可通过调整所有尚未量化的剩余权重列 F 来进行最优二阶补偿:

δF=−wq−quant(wq)[H−1]qq⋅[H−1]q,F

GPTQ 通过三项工程创举将复杂度降至可在单卡上数小时量化 175B 模型:统一各行按固定列序量化以共享 H−1、引入 Cholesky 分解稳定提取逆海森上三角信息,以及延迟分块更新(Lazy Batch Updates) 大幅提升 GPU 矩阵算力利用率。

4. AWQ:激活感知显著权重保护(W4A16) ​

AWQ(Activation-aware Weight Quantization, Lin et al., 2023,arXiv:2306.00978 ↗)发现了一个更简洁且泛化能力更强的规律:大模型中仅有约 0.1%–1% 的权重通道对精度至关重要,但不能按权重绝对值挑出它们,而必须依据对应的输入激活幅值挑选。

为避免混合精度带来的硬件不规则性,AWQ 对显著权重通道乘以大于 1 的缩放因子 s>1(同时将对应输入激活除以 s 保持数学等价):

Err(w⋅x)=|1s⋅Δ′⋅Round(w⋅sΔ′)−w|⋅|x|

由于单个显著通道的缩放通常不显著改变所在整组的最大值,组步长 Δ′≈Δ,于是舍入误差幅度直接缩小为原来的 1/s!AWQ 将逐通道缩放参数化为 sj=x¯jα(x¯j 为校准集上第 j 通道的平均激活绝对值),仅需在 α∈[0,1] 上执行极速一维网格搜索最小化层输出重构误差:

α∗=arg⁡minα∈[0,1]‖Q(W⋅diag(s))(diag(s)−1X)−WX‖22

AWQ 全程不做任何权重微调与反向传播,因此几乎不存在校准集过拟合风险,在跨领域、多模态与指令遵循任务上表现极其稳健。

5. GGUF 与硬件原生 FP8 部署 ​

  • GGUF(llama.cpp 生态):面向端侧 CPU、Apple Silicon 与消费级显卡设计的自描述二进制部署格式。其核心 K-Quants(如 Q4_K_M)采用“超级块二级量化(Super-Block Double Quantization)”:每 256 个权重组成一个超块,内部再细分为 8 个子块,并将子块的 FP16 缩放因子本身再量化为 6-bit 整数,同时自动为注意力 v_proj 与输出头等敏感层分配更高位宽(如 6-bit),在平均 4.8 bit/param 下达到极高画质。
  • FP8(E4M3 / E5M2):NVIDIA Hopper(H100)、Ada(L40S)与 Blackwell 原生提供 FP8 Tensor Core 指令,峰值算力达到 FP16 的 2×。推理中权重与激活通常使用 4 位指数 + 3 位尾数的 FP8-E4M3 格式,其对数动态范围天然比均匀整数 INT8 更适应长尾激活分布。结合细粒度分块缩放(如 DeepSeek-V3 采用的激活 1×128、权重 128×128 块级 FP8 缩放),无需复杂离线校准即可实现近乎无损的 W8A8 高吞吐部署。

算法架构与数据流图 ​

以下流程图对比了主流 LLM 量化路线如何解决激活离群值与显存带宽瓶颈:

图表加载中...

复杂度与横向对比表 ​

量化方案精度方案是否需校准数据校准/压缩耗时 (70B)核心优化阶段精度保持度典型部署引擎
LLM.int8()W8A8 + FP16 离群否零开销(在线)显存容量(延迟略升)极高(近无损)bitsandbytes / HF
SmoothQuantW8A8 (INT8)是(百条级)数分钟Prefill 与 Decode 兼顾高TensorRT-LLM / vLLM
FP8 (E4M3)W8A8 (FP8)可选(动态缩放免校准)秒级至分钟级Prefill 与 Decode 双倍峰值极高(几乎无损)vLLM / SGLang / TRT-LLM
GPTQW4A16 / W3A16是(约 128–256 条)约 1–3 小时Decode(显存与带宽压缩 4x)高(轻度依赖校准域)vLLM (Marlin) / ExLlamaV2
AWQW4A16是(约 128 条)约 15–30 分钟Decode(显存与带宽压缩 4x)极高(跨领域泛化极佳)vLLM (Marlin) / SGLang / MLC
GGUF (Q4_K_M)混合 4–6 bit可选(Importance Matrix)数分钟CPU / 消费级端侧推理高llama.cpp / Ollama

核心 PyTorch 参考实现 ​

以下自包含 PyTorch 代码实现了分组伪量化(Per-Group Quantization),并在构造包含显著激活离群值的线性层上,直观对比朴素 INT4、SmoothQuant 平滑缩放与 AWQ 激活感知搜索三种方法的输出重构 MSE 差异:

python
import torch
import torch.nn.functional as F


def pseudo_quantize_group(
    w: torch.Tensor,          # (out_features, in_features)
    bits: int = 4,
    group_size: int = 32,
) -> torch.Tensor:
    """执行非对称分组伪量化 (Per-Group Asymmetric Quantization)。"""
    out_f, in_f = w.shape
    assert in_f % group_size == 0
    w_grp = w.reshape(out_f, -1, group_size)                 # (O, G, g)

    q_max = (1 << bits) - 1
    w_min = w_grp.amin(dim=-1, keepdim=True)                 # (O, G, 1)
    w_max = w_grp.amax(dim=-1, keepdim=True)                 # (O, G, 1)
    scale = (w_max - w_min).clamp(min=1e-8) / q_max
    zero_point = torch.round(-w_min / scale).clamp(0, q_max)

    q = torch.round(w_grp / scale + zero_point).clamp(0, q_max)
    w_hat = (q - zero_point) * scale
    return w_hat.reshape(out_f, in_f)


def awq_search_scales(
    w: torch.Tensor,          # (out_features, in_features)
    x: torch.Tensor,          # (num_tokens, in_features) 校准激活
    bits: int = 4,
    group_size: int = 32,
    n_grid: int = 20,
) -> torch.Tensor:
    """
    AWQ 核心算法:网格搜索最优激活幂次 alpha in [0, 1],
    计算等价通道缩放向量 s = (mean(|X|))^alpha 以保护显著权重通道。
    """
    y_ref = F.linear(x, w)                                   # (T, O)
    x_mean = x.abs().mean(dim=0).clamp(min=1e-5)             # (in_features,)

    best_loss = float("inf")
    best_scales = torch.ones_like(x_mean)

    for step in range(n_grid + 1):
        alpha = step / n_grid
        scales = x_mean.pow(alpha)
        # 归一化缩放尺度,防止整体数值溢出
        scales = scales / (scales.max() * scales.min()).sqrt()

        # 等价变换:放大显著权重通道后量化,再把对应输入激活缩小 s 倍
        w_scaled = w * scales.unsqueeze(0)                   # (O, I)
        w_q = pseudo_quantize_group(w_scaled, bits=bits, group_size=group_size)
        y_hat = F.linear(x / scales.unsqueeze(0), w_q)

        loss = (y_ref - y_hat).pow(2).mean().item()
        if loss < best_loss:
            best_loss = loss
            best_scales = scales.clone()

    return best_scales


def smoothquant_scales(
    w: torch.Tensor,          # (out_features, in_features)
    x: torch.Tensor,          # (num_tokens, in_features)
    alpha: float = 0.5,
) -> torch.Tensor:
    """SmoothQuant 逐通道平滑因子 s_j = max(|X_j|)^alpha / max(|W_j|)^(1-alpha)。"""
    act_max = x.abs().amax(dim=0).clamp(min=1e-5)            # (I,)
    w_max = w.abs().amax(dim=0).clamp(min=1e-5)              # (I,)
    return act_max.pow(alpha) / w_max.pow(1.0 - alpha)


if __name__ == "__main__":
    torch.manual_seed(42)
    T, I, O = 256, 128, 64
    X = torch.randn(T, I)
    # 模拟大模型典型现象:在 2 个固定通道注入 50 倍激活离群值
    X[:, [5, 42]] *= 50.0
    W = torch.randn(O, I) * 0.05

    Y_fp32 = F.linear(X, W)

    # 1. 朴素 INT4 分组量化
    W_naive = pseudo_quantize_group(W, bits=4, group_size=32)
    mse_naive = (Y_fp32 - F.linear(X, W_naive)).pow(2).mean().item()

    # 2. AWQ 激活感知缩放 INT4 量化
    s_awq = awq_search_scales(W, X, bits=4, group_size=32)
    W_awq = pseudo_quantize_group(W * s_awq.unsqueeze(0), bits=4, group_size=32)
    mse_awq = (Y_fp32 - F.linear(X / s_awq.unsqueeze(0), W_awq)).pow(2).mean().item()

    # 3. 验证 SmoothQuant 通道平滑后激活离群峰值大幅回落
    s_sq = smoothquant_scales(W, X, alpha=0.5)
    print(f"Raw activation max: {(X.abs().max()):.2f} -> Smoothed max: {(X / s_sq).abs().max():.2f}")
    print(f"Naive INT4 Output MSE: {mse_naive:.6f}")
    print(f"AWQ   INT4 Output MSE: {mse_awq:.6f} ({mse_naive / mse_awq:.2f}x error reduction)")

工程实践与常见陷阱 ​

工程实践

  1. 根据并发负载精准选择 W4A16 还是 W8A8 (FP8):
    • 低并发 / 显存紧张 / 端侧部署:首选 AWQ / GPTQ W4A16(配合 Marlin 融合反量化 Kernel),因为此时受显存带宽限制,权重缩小 4 倍可换来近 3× 的单用户生成速度,且 70B 模型可直接塞入单张或双张消费级/数据中心卡;
    • 高并发数据中心(H100 / H200 / B200):首选 FP8 (W8A8),因为大 Batch 下解码趋向 Compute-Bound,W4A16 虽省显存但仍需反量化回 FP16 运算,而 FP8 可直接跑在翻倍算力的 FP8 Tensor Core 上,同时加速 Prefill 与高并发 Decode。
  2. 保护敏感层(Sensitivity-Aware Mixed Precision):词嵌入层(Embedding)、最终输出头(LM Head)以及极少数 MoE 路由门控层(Router Gate) 参数占比极小但对量化误差极其敏感,生产实践中应一律保持 FP16/BF16 不做低比特压缩。
  3. Marlin 权重重排(Weight Repacking):纯算法压缩到 INT4 并不等于自动变快。现代推理引擎在加载 AWQ/GPTQ 权重时会将其离线重排为 Marlin 交错布局,使异步加载(cp.async)、位解包与 FP16 Tensor Core MMA 指令完美流水线化,实现接近显存带宽理论极限的 4-bit 推理。

常见陷阱

  1. GPTQ 的校准集过拟合(Calibration Overfitting):GPTQ 会直接改写未量化权重以补偿校准集上的二次误差。若仅用单一英文维基语料校准,量化后的模型在代码生成、中文问答或长指令遵循上可能出现明显退化;务必构造覆盖多语言、代码、数学与对话的多样化校准集(或改用无权重修改的 AWQ / FP8)。
  2. 伪量化假象与大 Batch 负加速:若缺少高效融合反量化 Kernel,W4A16 在计算前显式解包成完整 FP16 矩阵写入显存反而比原生 FP16 更慢;同样,在大 Batch Prefill 阶段,INT4 解包指令本身会带来额外 ALU 开销,使得吞吐略低于 FP8 甚至原生 FP16。
  3. 极低位宽下的“推理能力悬崖”:虽然 4-bit 量化在常规 WikiText 困惑度上几乎无损,但在复杂多步数学推理与代码调试任务中,低于 4-bit(如 INT3 / INT2)往往会触发隐蔽的逻辑跳步或符号幻觉。评测量化质量绝不能只看 Perplexity,必须跑 GSM8K、HumanEval、IFEval 等下游硬基准。

延伸阅读与参考论文 ​

  • Dettmers, T., Lewis, M., Belkada, Y., & Zettlemoyer, L. (2022). LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale. NeurIPS 2022. arXiv:2208.07339 ↗(揭示 6.7B 以上大模型涌现激活离群值现象)
  • Xiao, G., Lin, J., Seznec, M., Wu, H., Demouth, J., & Han, S. (2023). SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models. ICML 2023. arXiv:2211.10438 ↗(等价通道平滑迁移量化难度,奠定 W8A8 INT8 基础)
  • Frantar, E., Ashkboos, S., Hoefler, T., & Alistarh, D. (2022). GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. ICLR 2023. arXiv:2210.17323 ↗(二阶海森误差补偿 W4A16 经典算法)
  • Lin, J., Tang, J., Tang, H., Yang, S., Chen, W. M., Wang, W. C., Xiao, G., Dang, X., Gan, C., & Han, S. (2023). AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration. MLSys 2024 Best Paper. arXiv:2306.00978 ↗(激活感知显著权重保护)
  • Frantar, E., Castro, R. L., Chen, J., Hoefler, T., & Alistarh, D. (2024). MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models. PPoPP 2025. arXiv:2408.11743 ↗(极致高效的 FP16xINT4 融合推理 CUDA Kernel)
  • DeepSeek-AI (2024). DeepSeek-V3 Technical Report. arXiv:2412.19437 ↗(验证超大规模细粒度块级 FP8 混合精度训练与部署范式)