Skip to content

知识蒸馏与模型剪枝压缩

全面剖析大语言模型知识蒸馏(前向/反向 KL 与长思维链蒸馏)与非结构化、2:4 半结构化及结构化剪枝技术。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是知识蒸馏(Distillation)与模型剪枝(Pruning)?

除了量化压缩单个参数的字节数,把庞然大物塞进轻量化设备还有两大招:

知识蒸馏(Distillation) 是“名师带高徒”——让庞大的强老师模型不仅给出标准答案,还把自己的概率分布、中间思路甚至长思维链(如 DeepSeek-R1 蒸馏 Qwen/LLaMA 小模型)教给小尺寸学生模型,让小模型学会远超同体积从头训练的能力;模型剪枝(Pruning) 则是直接识别并切掉网络里作用微弱的冗余连接、注意力头或整个层,给模型做外科减脂。

01 问题从何而来:小模型从零学,为什么总干不过“大模型缩水版”? ​

模型量化 能把每个参数从 16 位压成 4 位,但它并没有减少任何一个神经元或网络层——如果手机、汽车座舱或超低延迟客服只容得下一个 3B 甚至 1.5B 的小模型,光靠量化远远不够。

那直接按 Scaling Laws 从零预训练一个小模型不就行了吗?工程实践给出了一个反直觉的答案:同样是 3B 或 8B 的身材,拿一个身经百战的 70B 甚至 671B 超大模型“裁剪塑形 + 拜师传功”得来的小模型,往往全面吊打花费数万亿 Token 从零硬训出来的同尺寸小模型,而且算力开销不到后者的 5%!

类比 · 自己摸索 vs 名师手把手带徒弟 + 精简冗余部门

想象你要培养一名能独当一面的轻量级“全能工程师”:

  • 从零训练:扔给他一整座图书馆的原始课本(只有冷冰冰的“下一个字标准答案”),让他自己摸黑撞墙几年,脑容量小根本悟不透深层规律。
  • 知识蒸馏(Knowledge Distillation):请一位学富五车的顶级教授(教师模型)手把手带他。教授不仅给标准答案,还会把解题时“为什么 A 选项 70% 靠谱、B 选项 25% 也有道理、C 选项绝对荒谬”的概率直觉,甚至草稿纸上反复验算反思的完整心路历程,毫无保留地传给徒弟。
  • 模型剪枝(Model Pruning):干脆直接把庞大集团里的冗余工位、闲置会议室甚至低效部门外科手术式裁掉,再让老总带队短程复盘恢复战斗力,瞬间瘦身成一家精悍高效的小微尖兵公司。
核心设问

怎样在几乎不丢“灵魂”的前提下,把超大教师模型的概率直觉与深度推理能力高效灌进小模型(蒸馏),同时精准识别并切掉最无害的权重、通道乃至整层网络(剪枝)?

02 核心直觉与生活类比 ​

生成式大模型的蒸馏和剪枝,和十年前的图像分类完全不是一回事——两个最精妙的思想跃迁,用日常画面一秒就能看懂。

类比 · 贪多嚼不烂 vs 盯紧拿手菜:Forward KL 与 Reverse KL

传统 Hinton 蒸馏(arXiv:1503.02531 ↗)用前向 KL 散度去逼学生模仿老师的完整概率分布。这就像一位只会做 5 道菜的小厨师(小模型),被逼着去复刻米其林大厨(大模型)100 道菜的全菜单——只要大厨菜单上有的菜,小厨师漏掉一道就会被重罚!结果小厨师被迫把精力摊得稀薄,甚至在两道菜之间硬凑出“四不像的黑暗料理”(均值覆盖幻觉)。

而 MiniLLM(arXiv:2306.08543 ↗)提出的反向 KL 散度彻底反过来罚:你不会做全部 100 道没关系,但只要你敢端出一道大厨绝对不会做的黑暗料理,立刻罚到倾家荡产! 于是小厨师非常聪明地放弃长尾花哨菜式,把有限天赋 100% 集中在大厨最拿手的几道招牌主菜上,做出来的菜精准稳健得多。

而如果老师和学生连词表都不一样,或者你只有顶尖推理模型(比如 DeepSeek-R1,arXiv:2501.12948 ↗)生成的完整推理过程呢?那就直接上黑盒长思维链数据蒸馏:让老师在数学和代码题上写出几十万条经校验答对的 <think>...</think> 详细草稿纸,直接拿去给小模型做 监督微调(SFT)。事实证明,小模型靠“背诵理解学霸的草稿纸”换来的推理暴涨,远比让它自己从零做强化学习划算得多!

类比 · 三种裁员术:非结构化、2:4 半结构化与结构化剪枝

剪枝也有三种截然不同的“瘦身刀法”:

  • 非结构化剪枝(SparseGPT arXiv ↗ / Wanda arXiv ↗):在整栋写字楼里零零散散撤掉 50% 的单个工位。员工少了一半,但大楼租金、电费和走廊布局完全没缩小,普通 GPU 上因为地址不连续反而跑得更慢。
  • 2:4 半结构化剪枝:立下硬件规矩——每连续 4 个工位里,严格留 2 个、撤 2 个。NVIDIA Ampere/Hopper 显卡里的 Sparse Tensor Core 硬件电路天生认得这套节奏,跳过零值直接给出 1.5×–2.0× 真实算力加速!
  • 结构化剪枝(如 Minitron arXiv ↗):直接裁掉整条冗余的注意力头、整列 FFN 神经元甚至整层 Transformer Block。裁完之后剩下的是一座结构标准、尺寸更小的“纯稠密小楼”,不用任何特殊硬件,全平台立刻线性省显存、降延迟。

除了离线对比教师和学生分布,现代蒸馏还解决了一个长期隐痛——暴露偏差(Exposure Bias):

类比 · 驾校教练坐副驾:On-Policy 在线策略蒸馏(GKD)

传统离线蒸馏好比只让学生看教练录好的完美行车视频(真实前缀):路上全是笔直大道,学生背得滚瓜烂熟;可真到自己上路推理时,学生稍微方向盘打偏了一点(自己生成了一个不太完美的词),瞬间驶进视频里从未出现过的乡间泥路,接下来越开越慌、一路跑偏。

GKD(On-Policy Distillation,arXiv:2306.13649 ↗) 让教练直接坐进副驾:训练时放手让学生自己开车生成句子,每开出一步,副驾上的教师模型立刻针对“你现在偏出来的这个真实路况”给出纠偏打分。学生学会了犯小错后怎么稳稳掰回正轨,长文本生成稳定性大幅跃升。

03 把关键公式读成人话 ​

先看温度蒸馏损失里的那个经典系数 τ2:

LKD=(1−α)LCE(yt,pS(1))+α⋅τ2DKL(pT(τ)∥pS(τ))

把公式读成直觉:- 第一项 LCE 让徒弟对照课本标准答案(硬标签);第二项让徒弟用 KL 散度 模仿师傅经过温度 τ 软化后的“概率直觉”(软标签)。

  • 为什么要把温度 τ 调大(如 τ=2 或 4)?因为原分布里第一名占 99%,第二、三名都是 0.001,徒弟根本看不出谁和正确答案意思相近;升温把尖峰压缓,次优词之间的微妙语义亲疏(Dark Knowledge)就立刻浮现出来。
  • 前面乘上 τ2 是个救命的数学细节:软化分布会让反向梯度自然缩水 1/τ2 倍,乘回 τ2 才能让师傅的教导不被硬标签梯度彻底淹没。

再看 Wanda 一行封神的免训练剪枝打分公式:

Sij=|Wij|⋅‖X:,j‖2

把公式读成直觉:- 早期剪枝只看权重绝对值 |Wij| 大小,小就剪掉——这在大模型上极易翻车,因为和 量化 里一样的道理:如果某个权重本身很小,但它乘上的输入特征 X:,j 是个 50 倍的离群通道,剪掉它输出照样崩!

  • Wanda 把权重幅值和对应输入通道的激活 L2 范数直接相乘,并在每个输出神经元的同一行内部互相比较,剪掉得分垫底的一半。既不用算昂贵的二阶逆海森矩阵,也不用改剩余权重,跑一遍校准数据几分钟搞定,效果却能打平甚至超越 SparseGPT!

04 它在模型里怎么工作 & 与上下游的关系 ​

在现代小模型(如 Gemma-2 2B/9B、Llama-3.2 1B/3B、DeepSeek-R1-Distill)的诞生产线上,剪枝与蒸馏早已融合成一条标准工业管线:

  • 上游立足缩放规律与预训练目标:先沿着 Scaling Laws 训练一个超强的大教师模型,再通过修改 预训练交叉熵目标 加入教师软分布或自生成轨迹(如 GKD 在线策略蒸馏 arXiv:2306.13649 ↗)消除暴露偏差。
  • 黄金组合“先剪骨架,再蒸馏回血”:NVIDIA Minitron 系统验证了“基于激活重要性做结构化宽/深度剪枝 → 用原大模型当老师做短程 KL 蒸馏恢复”的配方,远胜单纯剪枝或单纯从头蒸馏。
  • 下游赋能推理生态:剪枝蒸馏出的紧凑稠密模型,既可以继续叠加 AWQ / FP8 量化 塞进手机端侧,也是 投机解码 里命中率最高、最完美的草稿小模型;长思维链蒸馏则让端侧小模型也拥有了接近顶级推理大模型的 测试时深度思考能力。

05 演化对比与避坑备忘 ​

压缩技术瘦身形态硬件友好度训练代价词表限制
Logit 蒸馏 (Forward/Reverse KL)任意小架构极高(纯稠密)中至高(需跑教师前向)师生词表须一致
黑盒长思维链蒸馏 (R1 范式)任意小架构极高(纯稠密)低至中(标准 SFT)无限制(可跨族)
非结构化剪枝 (Wanda/SparseGPT)零散权重置零低(GPU 难提速)极低(免训练分钟级)同模型
2:4 半结构化稀疏每连续 4 个留 2高(Sparse Tensor Core)极低 + 可选轻微调同模型
结构化剪枝 + 蒸馏 (Minitron)裁整头/通道/整层极高(纯稠密立即可用)剪枝极低 + 短程蒸馏同模型

实战做模型压缩,这三条避坑铁律一定要记牢:

  1. 先剪枝、再微调蒸馏恢复、最后才量化:千万别把顺序搞反!50% 剪枝后的网络冗余度已经大幅下降,如果没经过轻量恢复就直接上激进 INT4 量化,两层误差会非线性雪崩放大。另外同等剪枝比例下,通常优先缩宽(FFN 宽度与冗余头)比粗暴删整层更保智力。
  2. 线上白盒蒸馏别傻传完整 128K 词表 Logits:每步在 GPU 间传 (B, T, 128K) 的浮点分布,显存和通信能瞬间撑爆。工程上只保留教师每步概率最高的 Top-64 或 Top-128 个词(已经覆盖 99%+ 概率质量),甚至提前离线落盘缓存,训练时直接省掉部署教师模型的全部显卡!
  3. 长思维链蒸馏要严防“过度思考”与脏轨迹:直接把超长推理语料全倒进小模型,容易训出连“1+1 等于几”都要自我怀疑写一千字的话痨;而且必须过滤掉“过程算错但瞎蒙对答案”的脏样本,按难度分层并做答案拒绝采样校验,再做小剂量 DPO / RLVR 对齐 收口。
  4. 跨词表家族别强行折腾白盒 Logit 对齐:KL 散度要求老师和学生的每一个 Token ID 一一对应。如果你手里拿着 Qwen 教师想教 Llama 学生,硬写动态规划对齐子词不仅工程噩梦还极易引入噪声——实战中直接走“高质量黑盒数据与长思维链 SFT 蒸馏 + 轻量偏好对齐”,省心又稳健。

需要查阅 Forward/Reverse KL 推导、SparseGPT 二阶误差公式、ShortGPT 块影响力指标以及可运行的 DistillationLoss + wanda_prune_linear(含 2:4 稀疏)PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

模型量化 压缩了每个参数的存储位宽,但并未改变网络本身的计算图与参数数量。当目标部署场景(如手机端侧、高并发实时客服或低延迟 投机解码草稿模型)需要更彻底的计算量(FLOPs)与结构瘦身时,知识蒸馏(Knowledge Distillation, KD)(arXiv:1503.02531 ↗)与 模型剪枝(Model Pruning)(arXiv:2306.11695 ↗)便成为核心支柱:前者将超大规模教师模型(Teacher)的“暗知识”与推理思维迁移至紧凑学生模型(Student),后者直接外科手术式地切除冗余权重、注意力头或整个网络层。当代前沿小模型(如 Gemma-2 2B/9B、Llama-3.2 1B/3B、NVIDIA Minitron 以及 DeepSeek-R1-Distill 系列)均深度融合了这两项技术。

直观理解

如果把训练百亿大模型比作培养一位学富五车的大学教授,知识蒸馏就是请教授手把手带一名聪慧的本科生:不仅告诉学生标准答案,还把解题时“为什么排除另外几个干扰选项”的概率直觉(软标签)甚至完整草稿纸上的反思推演过程(长思维链)倾囊相授;而模型剪枝则是给庞大机构做精简裁员——非结构化剪枝像零散撤掉个别工位(办公楼面积没变),2:4 半结构化剪枝像按固定隔断规则精简一半座位(正好适配专用硬件),结构化剪枝则是直接裁撤整条冗余业务线,立竿见影降低运营成本。

问题动机与演进背景 ​

根据 Chinchilla 缩放定律,在给定算力预算下,从零预训练一个小模型往往受限于有限的数据质量与容量,其推理能力远逊于同尺寸压缩版大模型。相比之下,先训练一个拥有极强泛化与世界知识的超大教师模型,再通过剪枝重塑骨架 + 蒸馏恢复神韵,已被证明能以不到从零训练 5% 的 Token 开销,打造出突破缩放帕累托前沿的超级小模型(如 NVIDIA Minitron,arXiv:2407.14679 ↗ 与 Llama-3.2 剪枝蒸馏管线)。

在具体落地时,两项技术各自经历了面向生成式 LLM 的范式重构:

  1. 蒸馏从判别式分类走向自回归生成:传统 Hinton 温度交叉熵使用前向 KL 散度,在开放式长文本生成中易引发“均值覆盖幻觉”与暴露偏差(Exposure Bias),催生了 Reverse KL(MiniLLM)、On-Policy 蒸馏(GKD) 以及突破词表限制的黑盒长思维链数据蒸馏(DeepSeek-R1)。
  2. 剪枝从耗时迭代重训练走向免训练与硬件协同:大模型无法承受反复迭代剪枝微调的高昂开销,因而演化出免训练单次剪枝算法(SparseGPT、Wanda)、原生契合 GPU Sparse Tensor Core 的 2:4 半结构化稀疏,以及结合短程蒸馏恢复的宽/深度结构化剪枝。

核心原理与数学推导 ​

1. 知识蒸馏:温度 KL、前向 vs 反向 KL 与特征/数据蒸馏 ​

(1)Hinton 温度缩放软目标蒸馏(Logit Distillation) ​

设教师模型与学生模型在位置 t 输出的 Logits 分别为 zT,zS∈R|V|。引入蒸馏温度 τ≥1 软化概率分布,凸显被硬标签(One-Hot)抹平的次优候选词间相对语义关系(Dark Knowledge):

pT(τ)(v)=exp⁡(zT,v/τ)∑jexp⁡(zT,j/τ),pS(τ)(v)=exp⁡(zS,v/τ)∑jexp⁡(zS,j/τ)

总蒸馏损失为硬标签交叉熵与软分布 KL 散度的加权和:

LKD=(1−α)LCE(yt,pS(1))+α⋅τ2DKL(pT(τ)∥pS(τ))

其中因子 τ2 在数学上至关重要:对 zS,i 求偏导可知软目标梯度幅值随 1/τ2 衰减,乘以 τ2 才能保证不同温度下软硬两项损失的梯度量级保持平衡。

(2)Forward KL vs Reverse KL 与 MiniLLM ​

设教师真实生成分布为 pT,学生分布为 pS。两者之间的两种不对称 KL 散度在生成任务中表现出截然相反的几何特性:

  • 前向 KL(Forward KL,均值覆盖 / Mode-Covering):
DKL(pT∥pS)=Ey∼pT[log⁡pT(y)pS(y)]

只要教师赋予正概率 pT(y)>0,学生就必须给出足够大的 pS(y) 否则惩罚趋于无穷。对于容量远小于教师的学生而言,它被迫把概率质量摊薄去强行覆盖教师的所有模态,结果在多模态之间的“低密度空白区”也分配了过高概率,导致生成时容易胡言乱语与语义发散。

  • 反向 KL(Reverse KL,峰值聚焦 / Mode-Seeking):
DKL(pS∥pT)=Ey∼pS[log⁡pS(y)pT(y)]

只要学生敢在教师几乎为零概率的区域输出(pS(y)>0,pT(y)≈0),惩罚项立刻爆炸。因此学生会放弃拟合全部长尾分支,将有限参数容量高度聚焦于教师最确信的高质量主模态上,生成文本更精准流畅。MiniLLM(Gu et al., 2023) 进一步在序列级使用学生自采样轨迹(On-Policy)配合策略梯度优化反向 KL,有效消除了训练(看真实前缀)与推理(看自生成前缀)不一致的暴露偏差。

(3)中间层特征对齐与黑盒长思维链(Long-CoT)数据蒸馏 ​

  • 白盒特征 / 注意力对齐:当师生架构相近时,可引入可学习线性投影 Wproj 对齐中间隐状态 ∑l∥HS(l)Wproj−HT(g(l))∥22 或自注意力分布,加速表征收敛。
  • 黑盒长思维链数据蒸馏(DeepSeek-R1 范式):当教师与学生词表不同或仅有 API 采样输出时,可由顶尖推理教师(如经大规模 GRPO / RLVR 涌现出自我纠错、回溯与分步验证能力的 DeepSeek-R1,arXiv:2501.12948 ↗)在数学、代码与逻辑题上生成并经结果校验筛选出数十万条高质量 <think>...</think> 长思维链 轨迹,直接以标准 监督微调(SFT) 训练小尺寸稠密模型(1.5B–70B)。DeepSeek-R1 报告证明,对小模型直接做黑盒长 CoT 蒸馏获得的性能跃升,远胜于在同尺寸小模型上直接从零运行强化学习。

2. 模型剪枝:从非结构化到 2:4 稀疏与结构化瘦身 ​

(1)非结构化剪枝:SparseGPT 与 Wanda ​

非结构化剪枝以单个权重标量 Wij 为单位置零(生成稀疏掩码 M∈{0,1}dout×din):

  • SparseGPT(Frantar & Alistarh, 2023):沿用与 GPTQ 同源的二阶局部重构目标 minM,W^∥WX−(M⊙W^)X∥22,依据逆海森对角项评估剪枝误差 ϵij=Wij2[H−1]jj,在逐列裁剪最不重要权重的同时,将误差补偿更新到剩余未剪权重上,单次无需重训即可在 175B 模型上裁剪 50% 权重而困惑度几乎不变。
  • Wanda(Weights and Activations, Sun et al., 2023):指出不必计算昂贵的逆海森矩阵,也不必修改剩余权重!由于 LLM 中激活离群值通道极其关键,单个权重的重要性应由其自身幅值与对应输入激活 L2 范数的乘积共同度量:
Sij=|Wij|⋅‖X:,j‖2

最关键的是,Wanda 采用按输出神经元逐行比较(Per-Output Comparison),在每一行内部剔除得分最低的 s% 权重。算法全程仅需一次校准前向传播,耗时仅为 SparseGPT 的几分之一,却能取得持平甚至更优的零样本精度。

(2)半结构化 N:M 稀疏(2:4 Sparsity) ​

非结构化剪枝得到的稀疏矩阵索引完全随机,在 GPU 上除非稀疏度超过 90%,否则因无法合并访存反而比稠密矩阵乘更慢。2:4 半结构化稀疏强制规定:权重矩阵每连续 4 个元素中恰好保留 2 个非零值、剪去 2 个零值(固定 50% 稀疏度)。NVIDIA Ampere(A100)、Hopper(H100)及 Blackwell 架构的 Sparse Tensor Core 从硬件电路层面原生支持 2:4 压缩格式(仅需极小 2-bit 位置索引元数据),在 GEMM 计算时跳过零值乘加,直接兑现最高 1.5×–2.0× 的端到端真实算力加速。SparseGPT 与 Wanda 均可无缝将剪枝约束切换至 2:4 块内选择。

(3)结构化剪枝:宽度剪枝、深度剪枝与“剪枝+蒸馏”范式 ​

结构化剪枝直接整块移除完整的注意力头(Attention Heads)、FFN 中间隐层神经元、隐藏嵌入维度(Width Pruning),或整层移除贡献度最低的 Transformer Block(Depth Pruning,如 ShortGPT 使用层输入输出余弦距离定义的块影响力 BIl=1−E[cos⁡(hl,hl+1)] 识别冗余中深层)。

结构化剪枝的最大优势在于产物是一个尺寸更小的纯稠密标准 Transformer,无需任何稀疏专用硬件或定制 Kernel,可在所有推理框架上立即获得线性显存与延迟收益。NVIDIA Minitron(2024) 系统验证了“基于激活的重要性打分结构化剪枝 + 前向 KL 知识蒸馏短程恢复”的黄金配方:例如将 15B 模型先结构化剪枝为 8B,再用原始大模型做教师蒸馏几十亿 Token,即可全面超越耗时数万亿 Token 从零训练的同尺寸模型。

算法架构与数据流图 ​

以下架构图整合了现代大模型“剪枝塑形 + 蒸馏恢复 + 量化部署”的完整压缩演进全景:

图表加载中...

复杂度与横向对比表 ​

压缩技术压缩维度硬件加速友好度训练/计算代价词表要求典型精度保持与适用场景
Logit 蒸馏 (Forward/Reverse KL)任意更小架构极高(原生稠密)中至高(需前向教师)师生词表需一致极佳,适合打造同族系列小模型(Gemma-2/Llama-3.2)
黑盒长思维链数据蒸馏任意更小架构极高(原生稠密)低至中(纯 SFT)无限制(可跨族)推理跃升显著,适合迁移数学/代码深思能力
非结构化剪枝 (Wanda/SparseGPT)任意权重置零低(仅高稀疏 CPU 受益)极低(免训练分钟级)同模型50% 稀疏几乎无损,主要用于算法研究与稀疏硬件
2:4 半结构化剪枝每 4 连续留 2高(NVIDIA Sparse TC)极低(免训练)+ 可选微调同模型50% 稀疏精度略逊非结构化,叠加微调与 FP8 加速明显
结构化剪枝 (宽/深度)整头/通道/整层极高(原生稠密)低剪枝 + 中等蒸馏恢复同模型单独剪枝掉点明显,配合 Minitron 蒸馏恢复后综合最优

核心 PyTorch 参考实现 ​

下面的自包含 PyTorch 代码同时实现了两大工业核心组件:

  1. 可切换 Forward KL 与 Reverse KL 的温度缩放知识蒸馏损失模块;
  2. Wanda 激活感知剪枝算子,同时支持非结构化逐行剪枝与硬件原生的 2:4 半结构化稀疏剪枝。
python
import torch
import torch.nn as nn
import torch.nn.functional as F


class DistillationLoss(nn.Module):
    """支持 Forward KL 与 Reverse KL (Mode-Seeking) 的温度缩放蒸馏损失。"""

    def __init__(
        self,
        temperature: float = 2.0,
        alpha: float = 0.5,
        mode: str = "reverse_kl",  # "forward_kl" 或 "reverse_kl"
    ):
        super().__init__()
        self.temperature = temperature
        self.alpha = alpha
        self.mode = mode

    def forward(
        self,
        student_logits: torch.Tensor,   # (B, T, V)
        teacher_logits: torch.Tensor,   # (B, T, V)
        labels: torch.Tensor,           # (B, T)
    ) -> torch.Tensor:
        # 1. 标准语言建模硬标签交叉熵损失
        ce_loss = F.cross_entropy(
            student_logits.reshape(-1, student_logits.size(-1)),
            labels.reshape(-1),
            ignore_index=-100,
        )

        # 2. 温度缩放软分布与对数概率
        tau = self.temperature
        s_log_prob = F.log_softmax(student_logits / tau, dim=-1)     # (B, T, V)
        t_log_prob = F.log_softmax(teacher_logits / tau, dim=-1)     # (B, T, V)

        if self.mode == "forward_kl":
            # D_KL(P_T || P_S) = sum P_T * (log P_T - log P_S)
            t_prob = t_log_prob.exp()
            kl_per_tok = (t_prob * (t_log_prob - s_log_prob)).sum(dim=-1)
        elif self.mode == "reverse_kl":
            # D_KL(P_S || P_T) = sum P_S * (log P_S - log P_T)
            s_prob = s_log_prob.exp()
            kl_per_tok = (s_prob * (s_log_prob - t_log_prob)).sum(dim=-1)
        else:
            raise ValueError(f"Unsupported mode: {self.mode}")

        # 屏蔽 padding 位置并乘以 tau^2 保持梯度量级
        valid_mask = (labels != -100).float()
        kl_loss = (kl_per_tok * valid_mask).sum() / valid_mask.sum().clamp(min=1.0)
        kl_loss = kl_loss * (tau ** 2)

        return (1.0 - self.alpha) * ce_loss + self.alpha * kl_loss


@torch.no_grad()
def wanda_prune_linear(
    weight: torch.Tensor,         # (out_features, in_features)
    calib_inputs: torch.Tensor,   # (num_tokens, in_features) 校准集输入激活
    sparsity: float = 0.5,
    semi_structured_2_4: bool = False,
) -> torch.Tensor:
    """
    Wanda 剪枝算法 (Sun et al., 2023):
    重要性得分 S_ij = |W_ij| * ||X_j||_2,按输出行或 2:4 块执行单次免训练剪枝。
    """
    O, I = weight.shape
    # 计算每个输入通道的激活 L2 范数: (1, in_features)
    act_norm = torch.norm(calib_inputs.float(), p=2, dim=0, keepdim=True)
    metric = weight.abs().float() * act_norm                         # (O, I)

    if semi_structured_2_4:
        assert I % 4 == 0, "2:4 稀疏要求输入特征维度是 4 的整数倍"
        # 每连续 4 个元素为一组,剪掉得分最低的 2 个元素
        metric_4 = metric.reshape(O, -1, 4)                          # (O, I//4, 4)
        _, prune_idx = torch.topk(metric_4, k=2, dim=-1, largest=False)
        mask_4 = torch.ones_like(metric_4, dtype=torch.bool)
        mask_4.scatter_(dim=-1, index=prune_idx, value=False)
        mask = mask_4.reshape(O, I)
    else:
        # 按输出神经元逐行比较(Per-Output Comparison)
        num_prune = int(I * sparsity)
        _, prune_idx = torch.topk(metric, k=num_prune, dim=-1, largest=False)
        mask = torch.ones_like(weight, dtype=torch.bool)
        mask.scatter_(dim=-1, index=prune_idx, value=False)

    return weight * mask.to(weight.dtype)


if __name__ == "__main__":
    torch.manual_seed(0)
    # 演示 1: Forward vs Reverse KL 蒸馏损失计算
    B, T, V = 2, 16, 100
    s_logits = torch.randn(B, T, V, requires_grad=True)
    t_logits = torch.randn(B, T, V)
    targets = torch.randint(0, V, (B, T))
    kd_fn = DistillationLoss(temperature=2.0, alpha=0.5, mode="reverse_kl")
    loss = kd_fn(s_logits, t_logits, targets)
    loss.backward()
    print(f"Reverse KL Distillation Loss: {loss.item():.4f}")

    # 演示 2: Wanda 2:4 半结构化剪枝验证
    W = torch.randn(64, 128)
    X_calib = torch.randn(256, 128)
    X_calib[:, 0] *= 30.0  # 注入离群激活通道
    W_pruned_24 = wanda_prune_linear(W, X_calib, semi_structured_2_4=True)
    nonzero_per_4 = (W_pruned_24.reshape(-1, 4) != 0).sum(dim=-1)
    print(
        f"2:4 Pruning actual sparsity: {(W_pruned_24 == 0).float().mean().item():.2%}, "
        f"every 4-block has exactly 2 nonzeros: {bool((nonzero_per_4 == 2).all())}"
    )

工程实践与常见陷阱 ​

工程实践

  1. 宽度剪枝与深度剪枝的黄金配比(Minitron 经验法则):同等参数削减比例下,优先执行宽度剪枝(缩减 FFN 中间维度、Embedding 维度与少量冗余注意力头)通常比粗暴整层删除(深度剪枝)保留更高的推理能力;若同时需要压缩首字与单步串行延迟,则按“轻度删层 + 适度缩宽 + 短程 KL 蒸馏恢复”组合效果最佳。
  2. 线上 Logit 蒸馏的显存与带宽节流:在百亿模型白盒蒸馏中,每步传递完整的 (B, T, 128K) 词表浮点 Logits 显存和通信开销惊人。工程上普遍采用 Top-K 稀疏软标签缓存(仅保留教师每步概率最高的前 K=64 或 128 个 Token 及其概率,覆盖 99%+ 概率质量),既节省上千倍存储,又允许离线预计算教师 Logits 以彻底释放训练时的教师 GPU 占用。
  3. 剪枝、蒸馏与量化正交叠加:结构化剪枝 + 蒸馏得到的紧凑稠密模型,依然可以继续叠加 AWQ/FP8 量化;2:4 半结构化稀疏更可与 FP8 Tensor Core 在 Hopper/Blackwell GPU 上叠加启用(FP8 + 2:4 Sparsity),达成硬件级复合加速。

常见陷阱

  1. 剪枝后的量化敏感度放大:经过高比例剪枝(尤其是 50% 以上非结构化或 2:4 剪枝)后,网络冗余容量显著减少,若未经轻量微调恢复就直接叠加激进的 INT4 量化,误差会产生非线性放大效应。建议遵循“先剪枝 → 轻量恢复蒸馏/微调 → 最后量化”的流水线顺序。
  2. 长思维链蒸馏的“过度思考(Overthinking)”与格式污染:直接用超长推理轨迹做 SFT 蒸馏,容易让小模型在“1+1 等于几”等简单问题上也啰嗦输出上千字自我怀疑,大幅拉高推理成本;工程中需对蒸馏数据做难度分层、长度过滤与答案正确性二次验证(Rejection Sampling),过滤掉兜圈子或推理错误但蒙对答案的脏轨迹。
  3. 跨词表白盒蒸馏失效:Logit 级 KL 散度 严格要求教师与学生共享完全一致的 分词器词表。当试图将 Qwen 蒸馏到 Llama 等异构词表体系时,强行按最小编辑距离对齐 Token 往往效果不稳且代码复杂,实际工程中通常直接采用高质量黑盒数据蒸馏配合少量对齐微调(DPO / RLVR)。

延伸阅读与参考论文 ​

  • Hinton, G., Vinyals, O., & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS 2014 Deep Learning Workshop. arXiv:1503.02531 ↗(温度缩放软标签知识蒸馏奠基之作)
  • Gu, Y., Dong, L., Wei, F., & Huang, M. (2023). MiniLLM: Knowledge Distillation of Large Language Models. ICLR 2024. arXiv:2306.08543 ↗(提出面向生成式 LLM 的序列级 Reverse KL 蒸馏)
  • Agarwal, R., et al. (2024). On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes. ICLR 2024. arXiv:2306.13649 ↗(提出 GKD 在线策略蒸馏解决暴露偏差)
  • Frantar, E., & Alistarh, D. (2023). SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot. ICML 2023. arXiv:2301.00774 ↗(二阶海森单次非结构化与 2:4 剪枝)
  • Sun, M., Liu, Z., Bair, A., & Kolter, J. Z. (2023). A Simple and Effective Pruning Approach for Large Language Models. ICLR 2024. arXiv:2306.11695 ↗(提出 Wanda 激活权重乘积免训练剪枝)
  • Muralidharan, S., et al. (2024). Compact Language Models via Pruning and Knowledge Distillation (Minitron). NeurIPS 2024. arXiv:2407.14679 ↗(系统确立结构化剪枝与知识蒸馏恢复的工业最佳实践)
  • DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948 ↗(系统验证长思维链黑盒数据蒸馏对中小尺寸模型的强大迁移能力)