外观
概念定义 · 什么是模型量化(Quantization)?
大模型权重默认用 16 位浮点数(BF16/FP16,占 2 字节)存储,一个 70B 模型光装权重就要 140GB 显存。模型量化 就是用更少的比特数——比如 8 位(FP8/INT8)甚至 4 位整数(INT4,仅 0.5 字节)——来近似表示原本的精细小数,把显存占用和搬运带宽直接砍掉一半到四分之三。
量化最难的地方在于保护极少数“数值极大、极其关键”的离群通道,于是诞生了 SmoothQuant、GPTQ、AWQ 等一系列保精度黑科技。
01 问题从何而来:把大象塞进冰箱,却被 0.1% 的“摩天大楼”卡住了
一个 700 亿参数(70B)的大模型,在标准 FP16/BF16 混合精度 下,光是把权重乖乖装进显存就需要整整 140 GB——这还没算 KV Cache!而且单人推理时,每吐一个字 GPU 都要把这 140 GB 完整搬一遍。要是能把每个参数从 16 位压成 8 位甚至 4 位,显存瞬间砍掉一半到四分之三,搬运速度直接快
可当大家在 2022 年兴冲冲地把传统视觉模型的“最大值-最小值均匀量化”搬到大模型上时,离奇的一幕发生了:模型规模小于 60 亿时好好的,一跨过 6.7B 参数门槛,常规 INT8 量化一上手,模型立刻语无伦次、困惑度雪崩!
类比 · 同一把尺子量摩天大楼和蚂蚁
Dettmers 等人(LLM.int8(), 2022 ↗)揭开了谜底:大模型一旦长大,在几乎所有层的隐藏特征(激活值)里,会有大约 0.1% 的固定通道系统性地长出比正常值大 20 到 100 倍的极端尖峰,称为涌现激活离群值(Emergent Outliers)。
想象你手里只有一把 16 个刻度的 4-bit 短尺子,却被迫同时去量一栋 100 米高的摩天大楼(那 0.1% 的离群通道)和地上几千只 1 毫米长的蚂蚁(其余 99.9% 的正常语义特征)。为了不让摩天大楼超出量程,每个刻度被迫拉大到 6 米——结果所有蚂蚁全被四舍五入压缩成了 0,模型的精细语义瞬间毁于一旦!
核心设问
既不能粗暴截断那 0.1% 承载关键信号的“摩天大楼”,又不愿因为照顾它们而压扁其余 99.9% 的正常特征——怎么用极低的硬件代价,把大模型稳稳压进 8-bit 甚至 4-bit?
02 核心直觉与生活类比
过去几年最经典的 LLM 量化算法,几乎全是围绕“怎么和这 0.1% 的离群值斗智斗勇”展开的。三条代表性妙计,一听类比就彻底通透:
类比 · 挑担子、拆东墙补西墙、给重要人物发 VIP 放大镜
- SmoothQuant:给激活和权重“匀匀担子”(arXiv:2211.10438 ↗) 激活值里全是高耸入云的尖峰(极难量化),而旁边的权重矩阵却平平坦坦(很好量化)。既然做乘法
时,把 的某一列除以 、同时把 对应那一行乘以 ,乘积一分不差!那干脆把激活的“山峰”削平一半,把多余的高度匀给原本平坦的权重去分担。两边都变得温顺平缓,就能双双放进高速 W8A8 纯 INT8 硬件里飞奔。 - GPTQ:拆东墙补西墙的“精细赔付”(arXiv:2210.17323 ↗) 专攻 W4A16(权重压成 4-bit,算前还原回 FP16)。你把第 1 列权重四舍五入成 4-bit 整数时,肯定产生了一点小误差;GPTQ 立刻借用二阶海森矩阵算出一笔精确的补偿账,顺手微调后面还没量化的权重列,把刚才那一列弄丢的输出精准兜回来!像走平衡木一样一列压完、后面几列立刻反向倾斜稳住重心。
- AWQ:激活指路,给 1% 核心通道发放大镜(arXiv:2306.00978 ↗) AWQ 发现大模型里真正金贵的权重通道不到 1%,而且千万别按权重本身大小挑,要看谁正对着那 0.1% 的巨幅激活通道——因为 100 倍激活乘以哪怕 0.01 的权重舍入误差,也会被放大成 1.0 的大祸!AWQ 不改权重也不走混合精度,而是把这 1% 显著权重通道提前放大
倍再放进 4-bit 尺子里量(同时把输入缩小 倍保持等价)。相当于用放大镜量关键人物,舍入误差直接缩小到原来的 !
而如今数据中心最火的 FP8(E4M3) 则换了一种思路:整数刻度是均匀等距的,而浮点数自带“对数刻度”——靠近 0 的地方刻度极密(能看清蚂蚁),远离 0 的地方刻度自动拉宽(也装得下摩天大楼)。配合细粒度分块缩放(如 DeepSeek-V3 arXiv:2412.19437 ↗ 的块级 FP8),在 H100/H200 原生 FP8 Tensor Core 上直接兑现双倍算力与近乎无损的精度。
至于在个人笔记本、Mac Studio 或消费级显卡上跑本地大模型,大家最熟悉的 GGUF(llama.cpp) 则把“精打细算”玩到了极致:
类比 · 超级块与“好钢用在刀刃上”:GGUF 的 K-Quants
把传统每 128 个权重存一个 FP16 缩放因子想象成“给每个小箱子贴一张昂贵的金属铭牌”。GGUF 的 Q4_K_M 干脆把 256 个权重打包成一个超级块,里面分成 8 个小箱子,再把这 8 张小铭牌本身也二次量化成 6-bit 整数省下元数据空间;同时它深知注意力里的 v_proj 和输出层特别娇贵,自动给这些关键层多拨 6-bit 预算,给钝感层压到 4-bit,最终用平均 4.8 bit/参数 榨出了惊人的本地推理画质。
03 把关键公式读成人话
先看所有量化方法的底座——非对称均匀仿射量化:
把公式读成直觉:-
(Scale,缩放步长)决定了“每一格代表多大跨度”; (Zero-Point,零点)用来对齐原始数据不对称的起点,确保实数 0能精准落在某个整数格上。- 如果强制令
就是对称量化:矩阵乘法时少算一项零点交叉修正,硬件更快;为了不让整张大矩阵共用一把尺子,INT4 通常采用 Per-Group 分组量化(每连续 128 个权重配一把专属小尺子),仅多花不到 0.5 bit 的元数据,精度就天差地别。
再看 SmoothQuant 和 AWQ 共同依赖的那条极其优雅的等价通道缩放恒等式:
把公式读成直觉:- 中间插进一对互为倒数的对角矩阵
- 妙在离线融合:左边那个
可以直接揉进前一层 RMSNorm / LayerNorm 的缩放参数里,运行时零额外计算;右边那个 直接乘进静态权重里再离线量化。 - SmoothQuant 用它把激活尖峰削平以解锁 W8A8,AWQ 用它把显著权重放大以保护 W4A16——同一条线性代数恒等式,开出了两朵最灿烂的工程之花。
04 它在模型里怎么工作 & 与上下游的关系
量化几乎贯穿了大模型落地部署的每一个环节:
- 上游与架构和训练衔接:它沿袭了预训练阶段的 混合精度数值体系,并通过融合前序 归一化层 的缩放权重消除额外开销;在训练微调侧,4-bit NormalFloat 量化与低秩适配器联手,诞生了单卡可训大模型的 QLoRA。
- 横向配合推理基础设施:纯算法压到 4-bit 不会自动变快,必须配合像 Marlin(arXiv:2408.11743 ↗)这样的融合反量化 CUDA 算子,把解包指令藏进显存搬运流水线里,才能真正打破 KV Cache 与显存带宽墙。
- 下游与其他加速手段正交叠加:量化和 知识蒸馏与剪枝 互补(前者压位宽、后者砍参数量);在 投机解码 中,把草稿小模型激进量化到 INT4 更是黄金搭档——草稿越轻跑得越快,最终精度还有全精度大模型兜底。
05 演化对比与避坑备忘
| 量化路线 | 位宽形态 | 核心杀手锏 | 最适合的战场 | 代表推理引擎 |
|---|---|---|---|---|
| LLM.int8() (arXiv ↗) | W8A8 + FP16 离群 | 动态拆出 0.1% 离群列单独算 FP16 | 零校准省显存(延迟偏慢) | bitsandbytes / HF |
| SmoothQuant (arXiv ↗) | W8A8 (INT8) | 通道平滑把激活尖峰匀给权重 | 老一代 A100/L4 上 W8A8 加速 | TensorRT-LLM / vLLM |
| FP8 (E4M3) | W8A8 (FP8) | 对数动态范围 + 块级缩放 + 硬件双倍算力 | H100 / H200 高并发数据中心首选 | vLLM / SGLang |
| GPTQ (arXiv ↗) | W4A16 / W3A16 | 逆海森二阶误差逐列赔付 | 显存吃紧、单/低并发极致压体积 | vLLM (Marlin) / ExLlama |
| AWQ (arXiv ↗) | W4A16 | 激活感知缩放保护 1% 显著权重,不改原权重 | 跨领域最稳健的 4-bit 通用方案 | vLLM (Marlin) / SGLang |
GGUF (Q4_K_M) | 混合 4–6 bit | 超级块二级量化 + 敏感层自动给高比特 | 笔记本 CPU、Apple Silicon 本地跑 | llama.cpp / Ollama |
量化上线前,务必牢记这三条血泪教训:
- 选 W4A16 还是 FP8,全看你的并发有多高:单人或低并发(显存带宽受限)选 AWQ W4A16 + Marlin,权重缩 4 倍直接换近 3 倍吐字加速;但在 H100 上跑大并发在线服务(计算受限)时,W4A16 反量化还要多耗指令且算力仍是 FP16,原生 FP8 (W8A8) 才是碾压级的吞吐王者。
- 绝不要“一刀切”量化所有层:词嵌入层(Embedding)、最终输出头(LM Head)以及 MoE 路由门控(Router Gate) 参数占比极小,却直接左右选词和专家分配,一旦压到 4-bit 效果立崩,工程上一律留给 FP16/BF16。
- 别只盯着困惑度(Perplexity),要测数学和代码:GPTQ 若只用单一英文维基校准极易过拟合,在中文或代码上掉点;而低于 4-bit(INT3/INT2)时,表面上流畅度几乎没变,复杂数学推理却常出现隐蔽的逻辑跳步——上线前必须用 GSM8K、HumanEval、IFEval 等硬基准把关。
- PTQ 与 QAT 的成本账要算清:绝大多数 7B–70B 模型的 8-bit 和 4-bit 部署,用 PTQ(后训练量化) 只需 128 条校准文本、十几分钟就能接近无损,完全没必要大动干戈重训;只有当你真想把模型往 INT2 甚至 1.58-bit(BitNet) 极限压榨时,才值得祭出带直通估计器(STE)的 QAT(量化感知训练)。
需要查阅 GPTQ Cholesky 逆海森推导、AWQ 误差收缩证明、GGUF 超级块结构与 AWQ vs SmoothQuant 对比 PyTorch 代码?按快捷键
M或点击顶部技术 Wiki即可随时切换。
大语言模型动辄数百亿乃至数千亿参数,在 混合精度 FP16/BF16 下仅存储一个 70B 模型的权重就需要约 140 GB 显存,且自回归解码阶段的性能几乎完全受制于 KV Cache 与显存带宽墙。模型量化(Quantization) 通过将连续高精度浮点权重或激活值(FP16/BF16)映射为低比特整数或低精度浮点(INT8、INT4、FP8),在不改变网络拓扑结构的前提下,同时实现显存占用削减
直观理解
如果把原始 FP16 权重比作精确到微米的游标卡尺刻度,量化就像把刻度换算成格数更少但读写飞快的普通直尺(例如 4-bit 只有 16 个离散刻度)。如果所有数据分布均匀,粗刻度完全够用;但大模型激活值中偏偏混入了极少数高达上百倍的“摩天大楼”(离群值),若强行用同一把尺子量摩天大楼和蚂蚁,蚂蚁就会全部被压缩成 0。现代 LLM 量化算法(SmoothQuant、GPTQ、AWQ 等)的全部智慧,本质上都是在与这些离群值巧妙博弈。
问题动机与演进背景
在卷积神经网络与小规模 BERT 时代,简单的 Min-Max 后训练量化(PTQ)即可将模型无损压至 INT8。然而,当 Transformer 参数规模跨过约 6.7B 临界点时,Dettmers 等人(2022)发现了震撼业界的涌现激活离群值(Emergent Activation Outliers) 现象:
- 在几乎所有层和所有 Token 位置上,隐藏状态张量的极少数固定特征通道(约占总维度的
)会系统性地出现幅值比正常值大 的极端离群值; - 一旦对激活张量执行常规量化,量化步长
被迫拉大以包裹离群值,导致其余 的正常特征落入极少离散桶内,模型困惑度(Perplexity)瞬间雪崩; - 即使仅对权重做 INT4 量化(W4A16),与这些离群激活通道相乘的那极少数显著权重通道(Salient Weights) 哪怕产生微小舍入误差,也会被巨幅激活放大数十倍,严重破坏输出精度。
围绕如何以极低硬件开销化解离群值误差,LLM 量化演进出了两条主线:W8A8 全量化(权重与激活均量化,追求计算与访存双加速,如 LLM.int8()、SmoothQuant、FP8) 与 W4A16 仅权重量化(权重压至 4-bit、计算前反量化回 FP16,极致压缩显存并加速 Decode 访存,如 GPTQ、AWQ、GGUF)。
核心原理与数学推导
1. 均匀仿射量化(Uniform Affine Quantization)
给定待量化的实数张量
- 非对称量化(Asymmetric Quantization):引入缩放因子(Scale)
与零点偏移(Zero-Point) ,将实数区间线性映射至整数区间 :
- 对称量化(Symmetric Quantization):强制令
,以原点对称范围 (其中 )映射至 :
对称量化在矩阵乘时省去了涉及零点
量化粒度(Granularity):缩放因子
的共享范围越细,精度越高但元数据开销越大: - Per-Tensor:整张张量共享单一
,误差最大; - Per-Channel / Per-Token:权重按输出通道独立量化、激活按 Token 行独立量化,常用于 INT8;
- Per-Group(分组量化):将每个权重行按连续
个元素(典型 或 )切组并各自保存一组 FP16 缩放参数,在仅增加约 存储开销下大幅提升 INT4 精度。
- Per-Tensor:整张张量共享单一
PTQ vs QAT:后训练量化(PTQ) 仅需数百条无标注校准数据(Calibration Set),耗时数分钟即可完成,是超大模型的主流方案;量化感知训练(QAT) 在训练前向插入伪量化节点(Fake Quantization),并在反向传播中借助直通估计器(Straight-Through Estimator, STE) 近似不可导的取整函数梯度
,可将极限低比特(如 INT2 / 1.58-bit BitNet)推至更高精度,但训练成本高昂。
2. LLM.int8() 与 SmoothQuant(激活离群值治理)
- LLM.int8()(Dettmers et al., 2022,arXiv:2208.07339 ↗):采用混合精度分解策略。前向传播时动态检测超过阈值(如
)的离群激活列,将矩阵乘拆分为占 的常规 INT8 矩阵乘与占 的 FP16 离群子矩阵乘,最后将结果相加。它首次实现了 175B 模型的零退化 INT8 推理,但由于需要在线抽取离群列并触发两次矩阵乘,实际延迟往往慢于 FP16。 - SmoothQuant(Xiao et al., 2023,arXiv:2211.10438 ↗):深刻洞见到“激活分布尖锐难量化,而权重分布平坦易量化”,提出用数学上严格等价的逐通道对角矩阵
将量化难度从激活平滑迁移到权重:
对于第
经平滑后,
3. GPTQ:二阶海森矩阵误差补偿(W4A16)
GPTQ(Frantar et al., 2022,arXiv:2210.17323 ↗)将经典 Optimal Brain Quantization(OBQ)扩展至百亿级大模型。它逐层最小化量化前后的线性层输出重构误差:
该二次优化问题的海森矩阵(Hessian)在同一行所有通道间共享,由校准激活计算得到
GPTQ 通过三项工程创举将复杂度降至可在单卡上数小时量化 175B 模型:统一各行按固定列序量化以共享
4. AWQ:激活感知显著权重保护(W4A16)
AWQ(Activation-aware Weight Quantization, Lin et al., 2023,arXiv:2306.00978 ↗)发现了一个更简洁且泛化能力更强的规律:大模型中仅有约
为避免混合精度带来的硬件不规则性,AWQ 对显著权重通道乘以大于 1 的缩放因子
由于单个显著通道的缩放通常不显著改变所在整组的最大值,组步长
AWQ 全程不做任何权重微调与反向传播,因此几乎不存在校准集过拟合风险,在跨领域、多模态与指令遵循任务上表现极其稳健。
5. GGUF 与硬件原生 FP8 部署
- GGUF(
llama.cpp生态):面向端侧 CPU、Apple Silicon 与消费级显卡设计的自描述二进制部署格式。其核心 K-Quants(如Q4_K_M)采用“超级块二级量化(Super-Block Double Quantization)”:每 256 个权重组成一个超块,内部再细分为 8 个子块,并将子块的 FP16 缩放因子本身再量化为 6-bit 整数,同时自动为注意力v_proj与输出头等敏感层分配更高位宽(如 6-bit),在平均 4.8 bit/param 下达到极高画质。 - FP8(E4M3 / E5M2):NVIDIA Hopper(H100)、Ada(L40S)与 Blackwell 原生提供 FP8 Tensor Core 指令,峰值算力达到 FP16 的
。推理中权重与激活通常使用 4 位指数 + 3 位尾数的 FP8-E4M3 格式,其对数动态范围天然比均匀整数 INT8 更适应长尾激活分布。结合细粒度分块缩放(如 DeepSeek-V3 采用的激活 、权重 块级 FP8 缩放),无需复杂离线校准即可实现近乎无损的 W8A8 高吞吐部署。
算法架构与数据流图
以下流程图对比了主流 LLM 量化路线如何解决激活离群值与显存带宽瓶颈:
图表加载中...
复杂度与横向对比表
| 量化方案 | 精度方案 | 是否需校准数据 | 校准/压缩耗时 (70B) | 核心优化阶段 | 精度保持度 | 典型部署引擎 |
|---|---|---|---|---|---|---|
| LLM.int8() | W8A8 + FP16 离群 | 否 | 零开销(在线) | 显存容量(延迟略升) | 极高(近无损) | bitsandbytes / HF |
| SmoothQuant | W8A8 (INT8) | 是(百条级) | 数分钟 | Prefill 与 Decode 兼顾 | 高 | TensorRT-LLM / vLLM |
| FP8 (E4M3) | W8A8 (FP8) | 可选(动态缩放免校准) | 秒级至分钟级 | Prefill 与 Decode 双倍峰值 | 极高(几乎无损) | vLLM / SGLang / TRT-LLM |
| GPTQ | W4A16 / W3A16 | 是(约 128–256 条) | 约 1–3 小时 | Decode(显存与带宽压缩 4x) | 高(轻度依赖校准域) | vLLM (Marlin) / ExLlamaV2 |
| AWQ | W4A16 | 是(约 128 条) | 约 15–30 分钟 | Decode(显存与带宽压缩 4x) | 极高(跨领域泛化极佳) | vLLM (Marlin) / SGLang / MLC |
GGUF (Q4_K_M) | 混合 4–6 bit | 可选(Importance Matrix) | 数分钟 | CPU / 消费级端侧推理 | 高 | llama.cpp / Ollama |
核心 PyTorch 参考实现
以下自包含 PyTorch 代码实现了分组伪量化(Per-Group Quantization),并在构造包含显著激活离群值的线性层上,直观对比朴素 INT4、SmoothQuant 平滑缩放与 AWQ 激活感知搜索三种方法的输出重构 MSE 差异:
python
import torch
import torch.nn.functional as F
def pseudo_quantize_group(
w: torch.Tensor, # (out_features, in_features)
bits: int = 4,
group_size: int = 32,
) -> torch.Tensor:
"""执行非对称分组伪量化 (Per-Group Asymmetric Quantization)。"""
out_f, in_f = w.shape
assert in_f % group_size == 0
w_grp = w.reshape(out_f, -1, group_size) # (O, G, g)
q_max = (1 << bits) - 1
w_min = w_grp.amin(dim=-1, keepdim=True) # (O, G, 1)
w_max = w_grp.amax(dim=-1, keepdim=True) # (O, G, 1)
scale = (w_max - w_min).clamp(min=1e-8) / q_max
zero_point = torch.round(-w_min / scale).clamp(0, q_max)
q = torch.round(w_grp / scale + zero_point).clamp(0, q_max)
w_hat = (q - zero_point) * scale
return w_hat.reshape(out_f, in_f)
def awq_search_scales(
w: torch.Tensor, # (out_features, in_features)
x: torch.Tensor, # (num_tokens, in_features) 校准激活
bits: int = 4,
group_size: int = 32,
n_grid: int = 20,
) -> torch.Tensor:
"""
AWQ 核心算法:网格搜索最优激活幂次 alpha in [0, 1],
计算等价通道缩放向量 s = (mean(|X|))^alpha 以保护显著权重通道。
"""
y_ref = F.linear(x, w) # (T, O)
x_mean = x.abs().mean(dim=0).clamp(min=1e-5) # (in_features,)
best_loss = float("inf")
best_scales = torch.ones_like(x_mean)
for step in range(n_grid + 1):
alpha = step / n_grid
scales = x_mean.pow(alpha)
# 归一化缩放尺度,防止整体数值溢出
scales = scales / (scales.max() * scales.min()).sqrt()
# 等价变换:放大显著权重通道后量化,再把对应输入激活缩小 s 倍
w_scaled = w * scales.unsqueeze(0) # (O, I)
w_q = pseudo_quantize_group(w_scaled, bits=bits, group_size=group_size)
y_hat = F.linear(x / scales.unsqueeze(0), w_q)
loss = (y_ref - y_hat).pow(2).mean().item()
if loss < best_loss:
best_loss = loss
best_scales = scales.clone()
return best_scales
def smoothquant_scales(
w: torch.Tensor, # (out_features, in_features)
x: torch.Tensor, # (num_tokens, in_features)
alpha: float = 0.5,
) -> torch.Tensor:
"""SmoothQuant 逐通道平滑因子 s_j = max(|X_j|)^alpha / max(|W_j|)^(1-alpha)。"""
act_max = x.abs().amax(dim=0).clamp(min=1e-5) # (I,)
w_max = w.abs().amax(dim=0).clamp(min=1e-5) # (I,)
return act_max.pow(alpha) / w_max.pow(1.0 - alpha)
if __name__ == "__main__":
torch.manual_seed(42)
T, I, O = 256, 128, 64
X = torch.randn(T, I)
# 模拟大模型典型现象:在 2 个固定通道注入 50 倍激活离群值
X[:, [5, 42]] *= 50.0
W = torch.randn(O, I) * 0.05
Y_fp32 = F.linear(X, W)
# 1. 朴素 INT4 分组量化
W_naive = pseudo_quantize_group(W, bits=4, group_size=32)
mse_naive = (Y_fp32 - F.linear(X, W_naive)).pow(2).mean().item()
# 2. AWQ 激活感知缩放 INT4 量化
s_awq = awq_search_scales(W, X, bits=4, group_size=32)
W_awq = pseudo_quantize_group(W * s_awq.unsqueeze(0), bits=4, group_size=32)
mse_awq = (Y_fp32 - F.linear(X / s_awq.unsqueeze(0), W_awq)).pow(2).mean().item()
# 3. 验证 SmoothQuant 通道平滑后激活离群峰值大幅回落
s_sq = smoothquant_scales(W, X, alpha=0.5)
print(f"Raw activation max: {(X.abs().max()):.2f} -> Smoothed max: {(X / s_sq).abs().max():.2f}")
print(f"Naive INT4 Output MSE: {mse_naive:.6f}")
print(f"AWQ INT4 Output MSE: {mse_awq:.6f} ({mse_naive / mse_awq:.2f}x error reduction)")工程实践与常见陷阱
工程实践
- 根据并发负载精准选择 W4A16 还是 W8A8 (FP8):
- 低并发 / 显存紧张 / 端侧部署:首选 AWQ / GPTQ W4A16(配合 Marlin 融合反量化 Kernel),因为此时受显存带宽限制,权重缩小 4 倍可换来近
的单用户生成速度,且 70B 模型可直接塞入单张或双张消费级/数据中心卡; - 高并发数据中心(H100 / H200 / B200):首选 FP8 (W8A8),因为大 Batch 下解码趋向 Compute-Bound,W4A16 虽省显存但仍需反量化回 FP16 运算,而 FP8 可直接跑在翻倍算力的 FP8 Tensor Core 上,同时加速 Prefill 与高并发 Decode。
- 低并发 / 显存紧张 / 端侧部署:首选 AWQ / GPTQ W4A16(配合 Marlin 融合反量化 Kernel),因为此时受显存带宽限制,权重缩小 4 倍可换来近
- 保护敏感层(Sensitivity-Aware Mixed Precision):词嵌入层(Embedding)、最终输出头(LM Head)以及极少数 MoE 路由门控层(Router Gate) 参数占比极小但对量化误差极其敏感,生产实践中应一律保持 FP16/BF16 不做低比特压缩。
- Marlin 权重重排(Weight Repacking):纯算法压缩到 INT4 并不等于自动变快。现代推理引擎在加载 AWQ/GPTQ 权重时会将其离线重排为 Marlin 交错布局,使异步加载(
cp.async)、位解包与 FP16 Tensor Core MMA 指令完美流水线化,实现接近显存带宽理论极限的 4-bit 推理。
常见陷阱
- GPTQ 的校准集过拟合(Calibration Overfitting):GPTQ 会直接改写未量化权重以补偿校准集上的二次误差。若仅用单一英文维基语料校准,量化后的模型在代码生成、中文问答或长指令遵循上可能出现明显退化;务必构造覆盖多语言、代码、数学与对话的多样化校准集(或改用无权重修改的 AWQ / FP8)。
- 伪量化假象与大 Batch 负加速:若缺少高效融合反量化 Kernel,W4A16 在计算前显式解包成完整 FP16 矩阵写入显存反而比原生 FP16 更慢;同样,在大 Batch Prefill 阶段,INT4 解包指令本身会带来额外 ALU 开销,使得吞吐略低于 FP8 甚至原生 FP16。
- 极低位宽下的“推理能力悬崖”:虽然 4-bit 量化在常规 WikiText 困惑度上几乎无损,但在复杂多步数学推理与代码调试任务中,低于 4-bit(如 INT3 / INT2)往往会触发隐蔽的逻辑跳步或符号幻觉。评测量化质量绝不能只看 Perplexity,必须跑 GSM8K、HumanEval、IFEval 等下游硬基准。
延伸阅读与参考论文
- Dettmers, T., Lewis, M., Belkada, Y., & Zettlemoyer, L. (2022). LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale. NeurIPS 2022. arXiv:2208.07339 ↗(揭示 6.7B 以上大模型涌现激活离群值现象)
- Xiao, G., Lin, J., Seznec, M., Wu, H., Demouth, J., & Han, S. (2023). SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models. ICML 2023. arXiv:2211.10438 ↗(等价通道平滑迁移量化难度,奠定 W8A8 INT8 基础)
- Frantar, E., Ashkboos, S., Hoefler, T., & Alistarh, D. (2022). GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. ICLR 2023. arXiv:2210.17323 ↗(二阶海森误差补偿 W4A16 经典算法)
- Lin, J., Tang, J., Tang, H., Yang, S., Chen, W. M., Wang, W. C., Xiao, G., Dang, X., Gan, C., & Han, S. (2023). AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration. MLSys 2024 Best Paper. arXiv:2306.00978 ↗(激活感知显著权重保护)
- Frantar, E., Castro, R. L., Chen, J., Hoefler, T., & Alistarh, D. (2024). MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models. PPoPP 2025. arXiv:2408.11743 ↗(极致高效的 FP16xINT4 融合推理 CUDA Kernel)
- DeepSeek-AI (2024). DeepSeek-V3 Technical Report. arXiv:2412.19437 ↗(验证超大规模细粒度块级 FP8 混合精度训练与部署范式)