Skip to content

反向传播、自动微分与权重初始化

系统推导计算图反向自动微分(VJP)、矩阵求导、梯度消失爆炸的雅可比分析与 Xavier/Kaiming/μP 初始化。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是反向传播与梯度?

反向传播(Backpropagation) 是神经网络学会纠错的核心机制。模型猜错下一个词后,会算出一个“误差分数(Loss)”;反向传播沿着前向计算的每一步倒推回去,用微积分链式法则算出每一个参数该往大调还是往小调、调动一点点对误差影响有多大——这个“调整方向与敏感度”就是 梯度(Gradient)。

没有反向传播,大模型里几百亿个权重就不知道谁该为这次答错背锅;而梯度消失或爆炸,则意味着“纠错信号”在几十层网络里传着传着要么衰减成零、要么炸成无穷大。

01 几百亿个旋钮,模型怎么知道每个该往哪拧? ​

训练一个大语言模型,就像面对一面装了 700 亿个微调旋钮的巨型控制台,而你面前只有一个总仪表盘——标量 交叉熵损失 L。你希望把仪表盘读数拧到最低,就必须知道:把第 i 个旋钮轻轻往右拧一点,最终误差会变大还是变小?(也就是每个参数的梯度)。

笨办法是“控制变量法”(有限差分):每次只拨动 1 个旋钮,跑一遍完整模型看误差变化。700 亿个旋钮就得跑 700 亿遍前向传播,地球毁灭都更新不完一步。

1986 年 Rumelhart、Hinton 与 Williams 在 Nature 发表的经典论文(DOI:10.1038/323533a0 ↗)普及了 反向传播(Backpropagation),它在计算上的真身是 反向模式自动微分(VJP)(Baydin et al., 2018 ↗)。只要跑 1 次前向 + 1 次从终点倒推回起点的反向遍历,就能把 700 亿个旋钮该往哪拧一次性全算出来,总开销不过是前向的 2 倍!

类比 · 百人流水线的精准追责

想象一条 100 道工序的汽车装配线,最后质检发现车身偏左了 2 厘米。与其让第 1 道到第 100 道工序的工人轮流试改再整车重造 100 遍,不如让质检员站在终点,把“偏左 2 厘米”的纠偏指令传给第 100 号工人;第 100 号根据自己的动作换算出“我要改多少、以及第 99 号该背多少锅”,再传给第 99 号……一路倒推回第 1 号,走一遍回头路,所有人同时拿到自己的精确整改单。

核心设问

算出梯度只是入场券。当网络堆到 80 层、宽度拉到上万维时,为什么信号在“倒推传话”的路上动不动就消失成 0 或炸成 NaN?我们又该如何给几百亿个参数选好起点(初始化),甚至让“小模型调好的学习率”无缝搬到大模型?

02 核心直觉:传话麦克风增益与“风洞缩尺模型” ​

直觉一:麦克风增益——梯度消失、爆炸与方差保持 ​

反向传播沿着百层网络倒传纠偏指令,本质上是把每一层的局部导数(雅可比矩阵)一路连乘起来。这就像一场百人接力传话,每个人手里都握着一个带增益旋钮的麦克风:

类比 · 百人接力的麦克风调音
  • 如果每个人的麦克风增益只有 0.8(比如早期用 Sigmoid 激活或初始权重太小),话传过 50 个人就衰减成 0.850≈0.000014——浅层参数彻底听不到终点的纠偏信号,陷入 梯度消失。
  • 如果每个人的增益是 1.2(初始权重偏大),话传过 50 个人就放大成 1.250≈9100 倍——声波瞬间变成刺耳啸叫,数值冲破浮点数上限变成 NaN,这就是 梯度爆炸。
  • 好的初始化(Xavier, 2010 ↗、Kaiming, 2015 ↗)就像开场前的专业调音师:把每层权重的初始方差精准设成与输入维度 nin 成反比,让信号每过一层既不缩小也不放大,能量恒定在 1 附近。

到了深层 Transformer,每层还有注意力与前馈两条支路源源不断往主干加信号,如果不加抑制,L 层叠加后残差流的能量会膨胀 2L 倍。所以 GPT-2 / LLaMA 额外加了一条朴素而神效的规矩:给每个残差块最后一层投影权重乘以 1/2L,相当于“楼层越高,每层往主干里倒水的水龙头就拧得越细”。

类比 · 为什么反向传播如此吃显存?

很多人以为训练比推理多花显存只是因为多了梯度和优化器,其实真正的显存大户是 中间激活值(Activations)。在流水线追责的类比里,第 50 号工人要想算出自己螺丝拧偏了多少,必须清楚记得刚才前向加工时“递到自己手里的那块零件长什么样”。如果模型有 80 层、上下文长达 32K,把 80 层所有零件拍照存进显存,瞬间就能把 80GB 显卡撑爆——这也是为什么长文本训练离不开“边忘边重算”的 激活检查点。

直觉二:μP——让小模型变成大模型的“物理风洞” ​

训练百亿大模型最烧钱的痛苦之一是调参:你在 1 亿参数小模型上花几百块钱试出最优学习率是 3e-3,可一旦把模型加宽 10 倍,最优学习率突然漂移成了 2e-4,小模型的经验全废了。

Yang 等人在 Tensor Programs V (μP, 2022) ↗ 发现了症结所在:标准初始化与统一学习率在宽度 d 变大时,破坏了各层特征更新幅度的尺度守恒。

类比 · 飞机的风洞缩尺实验

造波音大飞机前,工程师会先按流体力学相似律造一架 1:20 的模型放进风洞吹——并不是把所有零件简单缩小 20 倍,而是质量、风速、翼展各有各的缩放幂次。μP(最大更新参数化) 就是神经网络的“相似律”:它让输入层、隐藏层、输出层按不同比例缩放初始方差和学习率,保证无论宽度 d 是 256 还是 8192,每层隐状态的更新步幅始终稳定在 Θ(1)。于是你只需在几千万参数的迷你代理模型上搜一次超参,就能零样本直接搬去训百亿旗舰!

03 把关键公式读成人话 ​

先看大模型里出现频率最高的线性层 Y=XW 的反向传播 VJP 公式:

X¯=Y¯W⊤,W¯=X⊤Y¯

**把矩阵反向求导读成直觉:**这里带横杠的 Y¯ 代表上游传下来的“整改单”(∂L/∂Y)。

  • 算 X¯:拿上游整改单乘以权重的转置,把责任继续往上一层传递(消耗 2N FLOPs)。
  • 算 W¯:拿前向存下来的输入激活 X 去和上游整改单做乘积,算出当前权重自己该改多少(再消耗 2N FLOPs)。 注意第二个式子!正是因为算 W¯ 必须用到前向时的 X,GPU 才不得不在前向传播时把几十层的中间激活死死攒在显存里——这直接解释了为什么训练大模型比推理吃显存得多。

再看决定深层网络生死的两条尺度公式——雅可比连乘与方差保持:

∥x¯0∥2∼αL∥x¯L∥2,Var(y)=ninVar(W)Var(x)

**把方差保持读成直觉:**第一条式子说明:只要每层平均缩放因子 α 稍微偏离 1,经过 L 层指数放大就是天壤之别。第二条式子给出了调音密码:输出 y 是 nin 个随机项加起来的,为了让输出方差等于输入方差,就必须令 Var(W)∝1/nin(如果是 ReLU 把负半轴一刀切掉一半能量,Kaiming 初始化就大方乘以 2,取 2/nin)。

再补上深层 Transformer 专用的残差深度缩放公式:

σres-out=σbase2L

**把残差深度缩放读成直觉:**一个 L 层的 Transformer 一共有 L 个注意力支路加 L 个前馈支路,共计 2L 条往主干残差流里注水的支管。把每条支管末端投影(o_proj、down_proj)的标准差除以 2L,那么 2L 个独立支路的方差之和就会恰好抵消掉 2L,无论模型堆 12 层还是 120 层,主干信号幅度始终波澜不惊。

04 它在模型里怎么工作 & 与上下游的关系 ​

反向传播与初始化是串联“数学理论”与“训练稳定工程”的中枢:

  • 上下游计算链条:它的底层运算完全依赖 张量矩阵乘法,反向的起点是顶层的 交叉熵损失,算出的梯度立刻交付给 AdamW 等优化器 去真正更新参数,并配合 学习率调度 掌控收敛节奏。
  • 架构级保护伞:单靠初始化只能保证训练第 0 步稳定;真正让百层网络在几十万步里始终不崩的,是与它搭档的 残差连接(把雅可比变成 I+J,给梯度修了一条直达底层的高速公路)和 LayerNorm / RMSNorm(每走一步把信号重新拉回标准音量)。
  • 系统级显存与精度联动:因为反向算 W¯ 必须保留前向激活 X,才催生了“前向扔掉激活、反向临时重算”的 激活检查点显存优化;而在 混合精度训练(BF16/FP16) 中,微小梯度容易在低精度下被四舍五入归零,必须依赖 FP32 主权重或 Loss Scaling 保驾护航。

05 初始化演进对比与三个避坑备忘 ​

方案核心缩放法则解决的痛点典型场景
Xavier / GlorotVar(W)=2nin+nout维持对称激活的前后向方差早期 MLP、Tanh / 线性层
Kaiming / HeVar(W)=2nin补偿 ReLU 截断负半轴损失的一半方差ResNet、视觉骨干网络
GPT-2 残差缩放残差输出投影 σ/2L抑制 L 层残差叠加导致的方差随深度膨胀GPT-2/3、LLaMA、主流 LLM
μP 参数化隐藏层方差与学习率均 ∝1/d消除最优学习率随宽度漂移,支持零样本迁移MiniCPM、超宽大模型研究
  1. 永远系好“梯度裁剪”安全带:大模型预训练哪怕初始化再完美,偶尔撞上一条脏数据或注意力尖峰也会引发瞬时梯度核爆;全局 L2 范数裁剪(通常 max_norm = 1.0)能瞬间削平尖峰,防止把优化器的动量历史彻底污染。
  2. 小心 PyTorch 的默认梯度累加与原地修改:每次 .backward() 都会往 .grad 上累加而非覆盖,忘了调 optimizer.zero_grad(set_to_none=True) 会让梯度越滚越大;同时绝不要对参与计算图的激活张量做原地操作(如 x += 1),否则反向重读旧值时会立刻报错。
  3. 落地的 μP 别漏改注意力缩放:很多人照着抄 μP 却发现最优学习率还是漂了,十有八九是忘了把自注意力里的 1/dk 改成 1/dk,或者没对输出头施加 1/d 缩放。

需要查阅完整雅可比矩阵微分推导、动态等距分析以及手写 torch.autograd.Function 线性层 VJP 与 gradcheck 校验代码?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

反向传播(Backpropagation)是训练现代神经网络的引擎,其在数值计算上的本质是反向模式自动微分(Reverse-Mode Automatic Differentiation)。然而,仅仅能够算出精确梯度并不足以让数十亿参数的深层 Transformer 成功收敛:若信号在前向传播中逐层放大或衰减,或在反向传播中因连乘雅可比矩阵而发生梯度爆炸与梯度消失,训练将在数步内崩溃。因此,理解反向传播的数学机制与 Xavier、Kaiming 乃至大语言模型时代的 μP(Maximal Update Parametrization)初始化理论,是驾驭深层模型训练稳定性的基石。

直观理解

把百层神经网络想象成一场百人接力传话游戏:前向传播把原始信息一路传到终点算出误差;反向传播(VJP) 则沿着原路把“该怎么改”的纠偏指令逐级传回每个参与者;而权重初始化就是给每个人的麦克风提前调好恰当的增益——增益小于 1,声音传十个人就听不见了(梯度消失);增益大于 1,传几个人就变成刺耳啸叫(梯度爆炸)。

问题动机与演进背景 ​

对拥有 N 个标量参数、输出 1 个标量损失 L∈R 的神经网络:

  • 若使用有限差分法逐参数扰动估算梯度,需要做 N+1 次前向传播,对百亿参数模型完全不可行;
  • 若使用前向模式自动微分(JVP),单次遍历只能计算损失对 1 个输入参数的导数,同样需要 O(N) 次遍历;
  • 而反向模式自动微分(VJP) 利用输出维度 1≪N 的极端不对称性,只需一次前向构建计算图 + 一次反向遍历,即可在 O(1) 倍前向开销内同时求得损失对全部 N 个参数的精确梯度。

另一方面,早期深度网络往往难以超过十余层,根源在于初始化方差未随网络宽度和深度正确缩放。从适用于对称饱和激活的 Xavier 初始化,到适配 ReLU 家族的 Kaiming 初始化,再到 GPT-2 的残差深度缩放与支持超参数跨规模零样本迁移的 μP,初始化理论贯穿了深度学习向超大规模演进的全过程。

核心原理与数学推导 ​

1. 反向模式自动微分与向量-雅可比积(VJP) ​

设网络由复合函数 L=fL∘fL−1∘⋯∘f1(x0) 构成,记第 l 层输出为 xl=fl(xl−1),其局部雅可比矩阵为 Jl=∂xl∂xl−1。定义第 l 层的伴随向量(Adjoint / 上游梯度) 为 x¯l=∂L∂xl(与 xl 同形状的列向量)。

根据多元链式法则,从第 l 层回传到第 l−1 层的递推关系为:

x¯l−1=Jl⊤x¯l

反向传播无需显式构造庞大的完整雅可比矩阵 Jl,而是直接计算向量-雅可比积(Vector-Jacobian Product, VJP) v⊤Jl。

以大模型中最核心的矩阵乘法 Y=XW(X∈RM×K,W∈RK×N,Y∈RM×N)为例,利用矩阵微分迹性质 dL=tr(Y¯⊤dY):

dL=tr(Y¯⊤(dXW+XdW))=tr((WY¯⊤)dX)+tr((Y¯⊤X)dW)

由此立即得到无须构造四阶张量的简洁矩阵求导法则:

X¯=∂L∂X=Y¯W⊤,W¯=∂L∂W=X⊤Y¯

注意计算 W¯ 必须用到前向输入激活 X,这正是训练显存被海量中间激活占据的根本原因,也直接催生了 激活重计算与显存优化 技术;算出的参数梯度随后将送入 AdamW 等优化器 完成权重更新。

2. 梯度消失/爆炸与雅可比奇异值分析 ​

将反向递推展开至输入层:

x¯0=(∏l=1LJl⊤)x¯L

对于无残差连接的纯堆叠线性层 xl=Wlxl−1,有 Jl=Wl。若每层雅可比矩阵的最大奇异值(谱范数)均为 σmax(Jl)≈α,则经过 L 层连乘后,梯度范数呈指数级演化:

∥x¯0∥2∼αL∥x¯L∥2
  • 若 α<1(例如 Sigmoid 导数最大仅 0.25),则 αL→0,引发梯度消失(Vanishing Gradient),浅层参数几乎停滞;
  • 若 α>1,则 αL→∞,引发梯度爆炸(Exploding Gradient),参数更新溢出为 NaN。

理想的状态称为动态等距(Dynamical Isometry)——令整体输入-输出雅可比矩阵的所有奇异值尽可能聚集在 1 附近。残差连接(Residual Connections) xl=xl−1+fl(xl−1) 使局部雅可比变为 I+Jfl,天然提供了恒等梯度通道;再配合 层归一化与 RMSNorm,得以支撑百层 Transformer 稳定训练。

3. 方差保持原则:Xavier、Kaiming 与残差缩放 ​

考察单层线性变换 yi=∑j=1ninWijxj。假设权重 Wij 与输入 xj 相互独立、零均值,则输出方差为:

Var(y)=ninVar(W)Var(x)

同理,反向传播中梯度方差满足 Var(x¯)=noutVar(W)Var(y¯)。为保持前向与反向方差恒定:

  • Xavier / Glorot 初始化(适用于线性或 Tanh 激活):折中前后向维度,取Var(W)=2nin+nout
  • Kaiming / He 初始化(适用于 ReLU 激活):ReLU 截断负半轴使方差减半,故需额外乘以增益系数 2:Var(W)=2nin
  • GPT-2 / Transformer 残差深度缩放:L 层 Transformer 含有 2L 个残差支路(每层 1 个 Attention + 1 个 FFN),若每个支路输出方差为 σ2,叠加到残差流后总方差将增长为 O(2Lσ2)。因此对每个残差块的最后一层输出投影权重(W_O 与 W_down)额外乘以 12L:σres-out=σbase2L

4. Maximal Update Parametrization(μP) ​

在标准参数化(SP)下,随着模型宽度 d 增大,最优学习率会剧烈漂移,导致无法在小模型上调参后直接迁移到百亿大模型。Yang 等人提出的 μP 通过精细协同缩放不同层的初始化方差与学习率,保证当宽度 d→∞ 时,每一层隐藏特征的更新幅度 Δh 始终保持 Θ(1)(不随宽度消失也不爆炸):

  • 输入层(Embedding):初始化方差 Θ(1),Adam 学习率 Θ(1);
  • 隐藏层矩阵(QKV/O/FFN):初始化方差 Θ(1/d),Adam 学习率 Θ(1/d);
  • 输出层(LM Head):初始化方差 Θ(1/d2)(或采用 1/d 缩放输出 logits),Adam 学习率 Θ(1/d);
  • 注意力缩放:将传统 1/dk 改为 1/dk,防止宽模型注意力 logits 随宽度发散。

在 μP 下,开发者可在数千万参数的代理模型(Proxy Model)上完成学习率与超参网格搜索,直接零样本迁移(μ-Transfer)至数十亿参数的目标模型。

算法架构 / 数据流图 ​

图表加载中...

复杂度与横向对比表 ​

初始化 / 参数化方案权重方差 Var(W)适用激活 / 结构深宽扩展稳定性典型代表模型
Xavier / Glorot2nin+nout线性、Tanh、Sigmoid仅维持前向/反向静态方差早期 MLP / BERT 线性层
Kaiming / He2ninReLU / LeakyReLU适配非对称截断激活ResNet、视觉骨干网络
GPT-2 残差缩放基础 0.022,残差输出 0.0222LPre-Norm Transformer抑制随深度 L 的残差流方差爆炸GPT-2 / GPT-3 / LLaMA 系列
μP(Maximal Update)隐藏层 Θ(1/d),输出层 Θ(1/d2),配 η∝1/d超宽深层 Transformer支持学习率等超参跨宽度零样本迁移Cerebras-GPT、MiniCPM、Qwen 部分实验

核心 PyTorch 参考实现 ​

python
import math
import torch
import torch.nn as nn


class ManualLinearFunction(torch.autograd.Function):
    """手写线性层 Y = X W^T + b 的前向与反向 VJP 实现,验证矩阵求导。"""

    @staticmethod
    def forward(ctx, x: torch.Tensor, weight: torch.Tensor, bias: torch.Tensor):
        # x: [B, d_in], weight: [d_out, d_in], bias: [d_out]
        ctx.save_for_backward(x, weight)
        return x @ weight.t() + bias  # [B, d_out]

    @staticmethod
    def backward(ctx, grad_output: torch.Tensor):
        # grad_output (dL/dY): [B, d_out]
        x, weight = ctx.saved_tensors
        grad_x = grad_output @ weight            # [B, d_out] @ [d_out, d_in] -> [B, d_in]
        grad_weight = grad_output.t() @ x        # [d_out, B] @ [B, d_in] -> [d_out, d_in]
        grad_bias = grad_output.sum(dim=0)       # [d_out]
        return grad_x, grad_weight, grad_bias


def init_transformer_weights(module: nn.Module, num_layers: int, base_std: float = 0.02) -> None:
    """GPT-2 / LLaMA 风格的 Transformer 权重初始化(含残差投影深度缩放)。"""
    for name, m in module.named_modules():
        if isinstance(m, nn.Linear):
            # 识别残差支路末端的输出投影(如 o_proj, down_proj)
            if name.endswith(("o_proj", "down_proj", "c_proj")):
                std = base_std / math.sqrt(2.0 * num_layers)
            else:
                std = base_std
            nn.init.normal_(m.weight, mean=0.0, std=std)
            if m.bias is not None:
                nn.init.zeros_(m.bias)
        elif isinstance(m, nn.Embedding):
            nn.init.normal_(m.weight, mean=0.0, std=base_std)


def check_jacobian_singular_values(depth: int, width: int, init_scale: float) -> tuple[float, float]:
    """统计深层线性网络复合雅可比矩阵的最大/最小奇异值。"""
    prod = torch.eye(width)
    for _ in range(depth):
        w = torch.randn(width, width) * (init_scale / math.sqrt(width))
        prod = w @ prod
    svals = torch.linalg.svdvals(prod)
    return svals[0].item(), svals[-1].item()


if __name__ == "__main__":
    torch.manual_seed(42)
    x = torch.randn(4, 8, dtype=torch.double, requires_grad=True)
    w = torch.randn(6, 8, dtype=torch.double, requires_grad=True)
    b = torch.randn(6, dtype=torch.double, requires_grad=True)

    # 使用 PyTorch 数值差分 gradcheck 验证手写 VJP 正确性
    assert torch.autograd.gradcheck(ManualLinearFunction.apply, (x, w, b), eps=1e-6)
    print("ManualLinearFunction VJP 梯度数值检验通过!")

    for scale in (0.8, 1.0, 1.2):
        s_max, s_min = check_jacobian_singular_values(depth=20, width=64, init_scale=scale)
        print(f"depth=20, init_scale={scale}: sigma_max={s_max:.3e}, sigma_min={s_min:.3e}")

工程实践与常见陷阱 ​

工程实践

  1. 梯度裁剪(Gradient Clipping)必备:在 LLM 预训练中几乎总是启用全局 L2 范数裁剪(如 max_norm = 1.0),用于截断异常数据批次或注意力尖峰引发的瞬时梯度爆炸,保护 Adam 二阶矩状态不被污染。
  2. 监控逐层梯度范数与更新比:健康训练中,每层参数更新量与参数范数之比 ∥ΔW∥F/∥W∥F 通常稳定在 10−3 量级;若浅层与深层梯度范数相差多个数量级,往往意味着归一化或初始化缩放失衡。
  3. 验证自定义算子反向传播:编写自定义 torch.autograd.Function 或 Triton 反向内核时,务必在 float64 精度下运行 torch.autograd.gradcheck 做有限差分校验。

常见陷阱

  1. 忘记清零梯度与原地修改(In-place Op)报错:PyTorch 默认将每次 .backward() 算出的梯度累加到 .grad 上(用于梯度累积);若未在优化步后调用 optimizer.zero_grad(set_to_none=True),梯度会无限叠加。同时,原地修改参与反向计算图的缓存张量会触发 RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation。
  2. BF16 下的微小梯度下溢:在 混合精度训练 中,BF16 虽与 FP32 指数位相同不易上溢,但尾数仅 7 位。若直接用 BF16 存放主权重或累加极小梯度,更新可能被舍入为零;工程中必须保留 FP32 主权重(Master Weights)或在优化器状态中做高精度累积。
  3. μP 迁移时遗漏 Attention 缩放或权重衰减:实践 μP 时,若只改了学习率缩放而忘记将注意力分数从 1/dk 改为 1/dk,或者未按宽度同步调整独立权重衰减(Independent Weight Decay),跨规模最优学习率仍会发生偏移。

延伸阅读与参考论文 ​

  • Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature 323, 533–536. DOI:10.1038/323533a0 ↗
  • Baydin, A. G., et al. (2018). Automatic Differentiation in Machine Learning: a Survey. JMLR. arXiv:1502.05767 ↗
  • Glorot, X., & Bengio, Y. (2010). Understanding the difficulty of training deep feedforward neural networks. AISTATS. PMLR v9 ↗
  • He, K., et al. (2015). Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification. ICCV. arXiv:1502.01852 ↗
  • Yang, G., et al. (2022). Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer. ICLR 2022. arXiv:2203.03466 ↗