Skip to content

学习率调度、批量缩放与梯度裁剪

解析 Warmup 机理、Cosine 与 WSD 调度、临界批量缩放律及全局梯度裁剪的稳定性原理。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是学习率调度(LR Schedule)与梯度裁剪?

学习率(Learning Rate) 控制优化器每次更新权重的“步子大小”:步子太大容易一步跨过山谷甚至训崩,步子太小又像蜗牛一样永远走不到终点。学习率调度 就是随着训练推进动态调节步长——通常开局先从零慢慢加大(Warmup 预热),中段稳步推进,收尾逐步放小步子精雕细琢(Cosine 衰减 或方便随时续训的 WSD 阶梯调度)。

梯度裁剪(Gradient Clipping) 则是配套的“安全限速器”:一旦某批脏数据算出异常巨大的梯度,立刻把它按比例压回安全上限,防止单步毁掉整周训练成果。

01 问题从何而来:为什么固定学习率一定会训崩? ​

选好了 大模型优化器 之后,紧接着就要面对三个决定训练生死的控制旋钮:学习率随时间怎么变(LR Schedule)、每步喂多少数据最划算(Batch Size Scaling),以及遇到异常梯度怎么急刹车(Gradient Clipping)。

如果偷懒全程用同一个固定学习率去跑几万亿 Token 的预训练,结局几乎注定两头挨打:开训前几百步权重一片混沌,大步长一脚油门就会把激活和注意力分数直接踹爆成 NaN;而到了训练后半程,模型已经摸到了最优解山谷的边缘,如果步长依然不缩减,参数就像一颗弹力太足的弹珠在谷底两壁反复横跳,死活落不到最低点。

更让工业界头疼的是老牌王者 Cosine Decay(余弦退火) 的“算命难题”:要想拿到最优效果,你必须在开训第一天就写死总训练步数 T(比如 2T Tokens)。可现实中团队常常训到一半又洗出了 5T 新语料想接着训——这时候学习率早就按余弦曲线滑到谷底了,继续训几乎不动,强行重新拉高学习率又会引发剧烈震荡和灾难性遗忘。

类比 · 精密车床加工的“三段式节奏”

把大模型预训练想象成用精密数控车床雕琢一根航天主轴:

  • Warmup(线性预热):刚开机时刀具还没和毛坯咬合,必须极慢地轻柔进给,不然第一秒就会崩刃;
  • Stable(恒定稳态巡航):进入正轨后,保持高效稳定的转速大口切削,把工件主体轮廓快速车出来——只要你手里还有新毛坯(新语料),这个阶段可以想续多久就续多久;
  • Decay(退火抛光):最后收官的 10% 时间,迅速降速换上精磨砂纸做镜面抛光,工件表面光洁度(验证 Loss)会立刻出现一波惊人的断崖式跃升!
核心设问

如何设计一条既不需要提前锁死总训练步数、又能在收尾阶段榨出极致精度的学习率轨迹?当 GPU 堆到几千张时,批量大小能不能无限放大?遇到一条有毒的脏样本时,怎么防止它毁掉过去十天的心血?

02 核心直觉与生活类比:WSD 盆地、临界批量与安全保险丝 ​

现代大模型(如 MiniCPM (2024) ↗、DeepSeek-V3 (2024) ↗、Qwen2.5)之所以全面转向 WSD(Warmup-Stable-Decay) 调度,背后有一幅非常直观的高维地形画面。

类比 · 高空巡航与“跳伞入谷”:为什么 WSD 退火时 Loss 会断崖式暴跌?

想象大模型的损失地形是一条蜿蜒曲折的深邃峡谷。在 WSD 的 Stable 稳态高学习率阶段,步子很大,参数根本落不到狭长的谷底,而是像滑翔伞一样在峡谷上方高速巡航——虽然高度(Loss)看起来下降缓慢,但它正在飞快地探索全局版图、吸收广博的知识。

一旦进入 Decay 退火阶段,学习率陡然收紧,相当于收起滑翔伞垂直降落,参数沿着峡谷峭壁急速坠入最深的谷底,Loss 曲线瞬间砸出一个漂亮的断崖式下跌!妙就妙在:只要你在稳态巡航期定期存好检查点(Checkpoint),你随时可以分出一条支线做退火发版,同时主线保持高学习率继续往后无限扩训,彻底告别 Cosine 的“重头再来”。

类比 · 临界批量大小(Critical Batch Size):多少人一起抬轿子不浪费?

很多人以为把 数据并行 的 Batch Size 翻倍,训练时间就能稳稳减半。其实不然。小批量算出来的梯度像几十份民意抽样,噪声很大;把批量从 64 扩到 512,抽样立刻准得多,步数几乎线性减少。可一旦批量超过一个门槛——临界批量大小 Bcrit(OpenAI (2018) ↗)——梯度本身已经很准了,你再把批量硬翻 4 倍,只是在重复确认早就知道的方向,省不下几步,反而把几倍的 GPU 算力和 Token 白白烧掉了。

更有趣的是:越往训练后期,模型越难学,真实梯度变小、相对噪声变大,Bcrit 会越来越大。所以前沿大模型普遍采用 Batch Size Warmup——前期用小批量精打细算,后期再把批量拉满榨干集群吞吐。

03 把关键公式读成人话 ​

先看 WSD 的三段式学习率轨迹(预热 Tw 步、稳态到 Ts 步、退火到 T 步):

ηWSD(t)={ηmax⋅tTw,0≤t<Twηmax,Tw≤t<Tsηmax⋅fdecay(t−TsT−Ts),Ts≤t≤T

把 WSD 公式读成直觉:- 第一段:从 0 线性爬坡到峰值 ηmax,给 AdamW 的二阶矩统计量留出“冷静观察期”,防止起跑线直接翻车;

  • 第二段:全程锁死 ηmax 稳态巡航,长度完全自由,拿到新数据直接接着跑;
  • 第三段:最后 10%–20% 步数快速衰减(现代消融表明线性衰减 1−s 或 1-sqrt 衰减 1−s 降到 0 往往比传统余弦降到 0.1ηmax 效果更好)。

再看防止单步脏数据毁掉全局的全局梯度裁剪(Global Norm Clipping):

g~(i)=τ∥g∥2+ϵg(i)(当全局范数 ∥g∥2>τ 时)

把梯度裁剪读成直觉:把整个模型所有层的梯度拼成一根超高维箭头,先量它的总长度 ∥g∥2。如果长度没超过警戒线(LLM 几乎统一设 τ=1.0),原样放行;一旦某个怪异批次导致总长度飙到 15.0,就给所有参数梯度乘上同一个缩小系数 1/15。这样就像给电路装了过载保险丝:既压住了瞬间暴走,又严格保住了整个箭头原本指向的几何方向,绝不像逐元素截断那样把方向掰歪。

04 它在模型里怎么工作 & 与上下游的关系 ​

学习率调度与稳定性控制处于整个训练系统的中枢神经位置,和上下游环环相扣:

  • 上游承接架构与优化器:早期 Post-Norm 架构离了超长 Warmup 根本训不动,而现代 Pre-Norm 与 QK-Norm 大幅平滑了梯度流,让预热更稳健;同时,缩放定律 告诉我们模型越大、最优峰值学习率通常越低,批量缩放与学习率之间在 AdamW 优化器 下近似遵循平方根规则 η∝B。
  • 与数据课程的黄金联动:WSD 最惊艳的威力来自它和 预训练数据工程 的天作之合——在学习率急剧退火的最后 5%–15% 窗口里,同步把最稀缺的顶尖教材、精选代码和数学推理数据(Annealing Data)灌进去,模型在“跳伞落谷”的敏感期精准吸收高纯度营养,基准测试分数往往一夜暴涨。
  • 下游平滑交棒后训练:WSD 的退火末期或稳态检查点,可以无痛接入长上下文扩窗(见 长上下文建模)或直接交棒给 指令微调 (SFT)。

05 演化对比与避坑备忘 ​

调度策略需开训前锁死总步数持续预训练体验与退火数据契合度代表模型
Constant + Warmup不需要极佳差(末期震荡落不了谷底)早期消融实验
Cosine Annealing必须锁死差(需 Re-warmup)一般GPT-3, Chinchilla, LLaMA-2
WSD(Linear / 1-sqrt)不需要极佳(从稳态点续训)完美契合退火注入MiniCPM, DeepSeek-V3, Qwen2.5

实战中最容易栽跟头的三个坑:

  1. 绝不要从“退火完的检查点”继续大规模预训练:WSD 的精髓是定期留存未退火的稳态检查点。一旦跑完退火,模型权重已经锁死在特定高质数据的小谷底,再强行拉高学习率继续大规模稳态续训,极易破坏原有表征。
  2. 梯度累积时别在微批次里提前裁剪:如果你把 1 个大 Batch 拆成 8 个微批次累积梯度,一定要等 8 个微批次全部累加完、跨 数据并行 归约平均之后,再统一算一次全局范数裁剪。提前逐个微批次裁剪会把原本正负抵消的噪声掰出系统偏差。
  3. 跨卡并行时算错全局梯度范数:在 张量并行 或 专家并行 下,每张卡手里只有模型的一部分参数。必须先把各卡本地梯度平方和做一次跨组 All-Reduce(且避免把每张卡重复持有的 LayerNorm 参数重复相加),才能得到真正的全局 ∥g∥2。平时多盯监控里的 grad_norm——健康训练应稳在 0.2–0.8,如果连续贴着 1.0 天花板打转,往往是学习率偏高或脏数据来袭的预警!

需要查阅临界批量双曲线推导、WSD 多分支工程管线图与带尖峰熔断机制的完整 PyTorch 调度器代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

在 预训练优化器 驱动的大语言模型长达数周、消耗数万亿 Token 的预训练长跑中,静态超参数几乎必然失败:训练初期参数随机分布,大步长会瞬间引爆梯度;训练中后期模型接近局部极小值盆地,过大的步长会让参数在谷底反复横跳而无法收敛。学习率调度(Learning Rate Schedule)、批量大小缩放(Batch Size Scaling)与全局梯度裁剪(Global Norm Clipping) 构成了大模型训练动力学的三大稳定器,并与 缩放定律 和 预训练数据工程 中的退火课程高度耦合。

直观理解

把大模型预训练比作精密车床加工:刚开机时刀具尚未贴合工件,必须缓慢进给(Warmup),防止崩刃;进入主切削期后保持高效稳定转速(WSD 稳态期或 Cosine 缓降);最后关头大幅降低转速做镜面抛光(Decay / 退火期),让损失陡然下降。与此同时,临界批量大小决定了每次切削最多吃多厚的料才不浪费电,而梯度裁剪则是过载保险丝——一旦遇到劣质数据引发瞬间电流尖峰,立刻限流保命。

问题动机与演进背景 ​

  1. 为什么必须 Linear Warmup? 在训练最初的几百至几千步内,自适应优化器(AdamW)的二阶矩估计 vt 样本极少、方差极大,加之随机初始化权重与注意力输出分布剧烈漂移,若直接施加峰值学习率 ηmax,早期几步的剧烈更新就会将权重推入激活饱和或高曲率发散区,甚至产生不可逆的注意力熵坍塌。线性预热使模型在温和步长下先稳定梯度统计量与特征分布。
  2. Cosine Decay 的“锁定总步数”痛点与 WSD 的崛起 Chinchilla 等经典研究证明,Cosine Annealing 必须在总训练步数 T 处刚好衰减到最小学习率 ηmin≈0.1ηmax 才能达到最优损失。然而这带来致命的工程僵化:必须在开训前就锁死总 Token 数 T;若训练中途新增了 5T 优质语料想要继续训练(Continual Pretraining),学习率已经降到底部,强行拉高学习率(Re-warmup)又会造成严重的灾难性遗忘与损失震荡。 为打破这一桎梏,WSD(Warmup-Stable-Decay)调度器(由 Zhai et al. 提出,并在 MiniCPM、DeepSeek-V3、Qwen2.5 等模型中被发扬光大)将训练解耦为 “无限可延续的恒定高学习率主阶段” 与 “短促陡峭的退火收尾阶段”,成为现代大模型预训练的新范式。
  3. 超大集群下的 Batch Size 瓶颈 增加 GPU 数量通常需要增大全局批量大小(Global Batch Size, B)以维持计算利用率。但超过临界批量大小(Critical Batch Size, Bcrit) 后,继续放大批量只能降低极少的梯度噪声,导致消耗同等 Token 时的损失恶化。如何随训练进度动态调节 Batch Size 与学习率成为集群效率的关键。

核心原理与数学推导 ​

1. Linear Warmup 与 Cosine Annealing Decay ​

设总步数为 T,预热步数为 Tw,峰值学习率为 ηmax,终值学习率为 ηmin(通常取 0.1ηmax):

η(t)={ηmax⋅tTw,0≤t<Twηmin+12(ηmax−ηmin)(1+cos⁡(πt−TwT−Tw)),Tw≤t≤T

Cosine 曲线前期下降缓慢、中期加速、末期趋平,在已知固定算力预算 T 时具有极佳的经验最优性。

2. WSD(Warmup-Stable-Decay)调度 ​

WSD 将学习率轨迹划分为三段:预热期 [0,Tw)、恒定稳态期 [Tw,Ts) 与退火衰减期 [Ts,T](通常退火占比 T−TsT≈10%–20%):

ηWSD(t)={ηmax⋅tTw,0≤t<Twηmax,Tw≤t<Tsηmax⋅fdecay(t−TsT−Ts),Ts≤t≤T

其中退火函数 fdecay(s)(s∈[0,1])常用线性衰减 (1−s)、余弦衰减 12(1+cos⁡(πs)) 或 1-sqrt 衰减 (1−s)(MiniCPM 与后续消融表明线性衰减或 1-sqrt 衰减在短退火窗口内往往优于指数衰减)。

WSD 的损失盆地几何解释:在稳态高学习率阶段,参数持续在高维平坦峡谷的“高空”快速探索全局结构,此时验证损失下降较平缓;一旦进入退火阶段,学习率迅速降低,参数沿着峡谷峭壁急速坠入局部最优深谷,造成损失曲线出现标志性的 “断崖式下跌”。只需从任意稳态检查点(Checkpoint)分叉即可独立评估退火后性能,或无痛无缝地继续向后无限扩训。

3. 批量大小缩放与临界批量大小(Critical Batch Size) ​

McCandlish et al. (2018) 推导出梯度噪声尺度(Gradient Noise Scale, Bnoise)理论。设真实全量梯度为 G=E[g],单样本梯度协方差矩阵为 Σ,局部 Hessian 为 H,定义噪声尺度:

Bsimple=tr(Σ)∥G∥22,Bnoise=tr(HΣ)G⊤HG

当使用批量大小 B 训练达到目标损失所需的优化步数 S 与总处理样本数 E=B⋅S 满足双曲线权衡关系:

(SSmin−1)(EEmin−1)=1⟹S(B)=Smin(1+BcritB),E(B)=Emin(1+BBcrit)

其中 Bcrit≈Bnoise 即为临界批量大小:

  • 当 B≪Bcrit(噪声主导区):样本数 E≈Emin 几乎不变,增大批量可近似线性减少训练步数,实现近线性加速。
  • 当 B≫Bcrit(曲率主导区):步数已逼近下限 Smin,继续增大批量只会白白浪费算力。

随着训练推进,损失 L 降低导致真实梯度范数 ∥G∥ 衰减得比噪声更快,因此 Bcrit 会随训练进程单调增大(近似按 Bcrit∝L−α 增长)。这正是 DeepSeek-V3、LLaMA-3 等模型采用 Batch Size Warmup(如前 469B Tokens 从 3072 线性增至 15360)的理论根源。同时,在 AdamW 下随批量调整学习率通常遵循平方根缩放规则:

η∝B(适用于 B≤Bcrit)

4. 全局梯度裁剪(Global Norm Clipping) ​

面对长尾异常样本或注意力尖峰引发的瞬时梯度爆炸,对整个模型所有参数张量 g={g(1),g(2),…,g(P)} 计算统一的全局 L2 范数:

∥g∥2=∑i=1P‖g(i)‖22

当 ∥g∥2 超过阈值 τ(LLM 预训练几乎统一采用 τ=1.0)时,对全部参数梯度乘以同一个标量缩放系数,严格保持整体梯度的几何方向不变:

g~(i)={g(i),∥g∥2≤ττ∥g∥2+ϵg(i),∥g∥2>τ

切忌使用逐元素值裁剪(clip_grad_value_),因为那会扭曲各维度的相对比例,破坏最速下降方向。

算法架构与数据流图 ​

下图展示了 WSD 调度如何支持“持续预训练 + 多分支退火”的现代工业训练管线:

图表加载中...

复杂度与横向对比 ​

调度策略需预知总步数支持无缝持续训练退火期数据注入兼容性固定预算最终损失典型代表模型
Constant + Warmup否极佳一般较差(末期震荡)早期消融实验
Cosine Annealing是(强依赖)差(需 Re-warmup)中等极优GPT-3, Chinchilla, LLaMA-2
Inverse Sqrt否良好较弱中等(衰减过慢)原始 Transformer, T5
WSD (Linear / 1-sqrt Decay)否极佳(从稳态点续训)极佳(完美契合 Annealing)持平甚至略优于 CosineMiniCPM, DeepSeek-V3, Qwen2.5, OLMo-2
Multi-Step Decay部分需要良好良好良好DeepSeek-LLM 67B

核心 PyTorch 参考实现 ​

下面实现支持 Cosine 与 WSD(含 linear / cosine / 1-sqrt 衰减) 的通用调度器,以及展示带安全日志监控的全局梯度裁剪流程:

python
import math
import torch
from torch.optim import Optimizer
from torch.optim.lr_scheduler import LambdaLR


def build_wsd_scheduler(
    optimizer: Optimizer,
    warmup_steps: int,
    stable_steps: int,
    decay_steps: int,
    min_lr_ratio: float = 0.0,
    decay_type: str = "1-sqrt",
) -> LambdaLR:
    """构造 Warmup-Stable-Decay (WSD) 学习率调度器。"""

    def lr_lambda(step: int) -> float:
        # 1. 线性预热阶段
        if step < warmup_steps:
            return float(step + 1) / float(max(1, warmup_steps))
        # 2. 恒定稳态阶段
        if step < warmup_steps + stable_steps:
            return 1.0
        # 3. 退火衰减阶段
        decay_progress = min(1.0, float(step - warmup_steps - stable_steps) / float(max(1, decay_steps)))
        if decay_type == "linear":
            factor = 1.0 - decay_progress
        elif decay_type == "cosine":
            factor = 0.5 * (1.0 + math.cos(math.pi * decay_progress))
        elif decay_type == "1-sqrt":
            factor = 1.0 - math.sqrt(decay_progress)
        else:
            raise ValueError(f"不支持的衰减类型: {decay_type}")
        return min_lr_ratio + (1.0 - min_lr_ratio) * factor

    return LambdaLR(optimizer, lr_lambda)


def train_step_with_grad_clip(
    model: torch.nn.Module,
    optimizer: Optimizer,
    scheduler: LambdaLR,
    x: torch.Tensor,
    y: torch.Tensor,
    max_grad_norm: float = 1.0,
    spike_threshold: float = 10.0,
) -> dict[str, float]:
    """带全局梯度裁剪与梯度尖峰检测的标准训练步。"""
    optimizer.zero_grad(set_to_none=True)
    logits = model(x)  # [B, D_out]
    loss = torch.nn.functional.mse_loss(logits, y)
    loss.backward()

    # 计算全局 L2 范数并原地等比缩放(严格保持梯度方向)
    total_norm = torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=max_grad_norm)
    total_norm_val = float(total_norm.item())

    # 工程常见防线:检测到 NaN/Inf 或极端尖峰时可记录告警或跳过该步更新
    skipped = 0.0
    if not math.isfinite(total_norm_val) or total_norm_val > spike_threshold:
        optimizer.zero_grad(set_to_none=True)
        skipped = 1.0
    else:
        optimizer.step()
        scheduler.step()

    return {
        "loss": float(loss.item()),
        "grad_norm": total_norm_val,
        "lr": float(optimizer.param_groups[0]["lr"]),
        "skipped": skipped,
    }


if __name__ == "__main__":
    torch.manual_seed(42)
    net = torch.nn.Sequential(torch.nn.Linear(32, 64), torch.nn.SiLU(), torch.nn.Linear(64, 16))
    opt = torch.optim.AdamW(net.parameters(), lr=3e-4, betas=(0.9, 0.95), weight_decay=0.1)
    sched = build_wsd_scheduler(opt, warmup_steps=5, stable_steps=15, decay_steps=10, min_lr_ratio=0.05)

    for step in range(30):
        x = torch.randn(8, 32)
        y = torch.randn(8, 16)
        stats = train_step_with_grad_clip(net, opt, sched, x, y, max_grad_norm=1.0)
        if step in {0, 4, 10, 19, 24, 29}:
            print(f"Step {step:02d} | lr={stats['lr']:.6f} | grad_norm={stats['grad_norm']:.3f} | loss={stats['loss']:.4f}")

工程实践与常见陷阱 ​

工程实践

  1. WSD 稳态期检查点留存策略:在 WSD 稳态期必须定期保存未进入退火的完整检查点(含优化器状态)。进入退火后,模型权重已深度适配退火期的特定高质量数据分布,不建议直接从退火末期重启大规模稳态续训。
  2. 退火期学习率下探至 0 或极小值:与 Cosine 通常保留 0.1 * lr_max 不同,最新研究(如 OLMo-2、MiniCPM、Qwen3)表明,在 WSD 退火末期将学习率线性衰减至 0(而非 0.1 * lr_max)往往能再榨取出额外的困惑度下降与基准指标提升。
  3. 监控 grad_norm 的基线漂移:健康的大模型训练中,全局梯度范数在预热后应稳定落在 0.2–0.8 区间(多数步不触发 1.0 裁剪)。若 grad_norm 长期贴着 1.0 上限并伴随高频尖峰,往往预示学习率偏高、数据出现异常乱码批次或数值精度即将溢出。

常见陷阱

  1. 梯度累积(Gradient Accumulation)下错算裁剪时机:梯度裁剪必须在完整累积 K 个微批次并完成 数据并行 梯度平均/All-Reduce 之后、调用 optimizer.step() 之前执行一次;切勿在每个微批次内部裁剪,否则会把原本方向相反的噪声误差引入偏置。
  2. 分布式训练下的局部裁剪 Bug:在使用 张量并行(TP) 或 专家并行(EP) 时,各 GPU 仅持有部分参数梯度。必须跨并行通信组执行 All-Reduce 汇总所有分片的平方和(注意避免对重复持有的参数重复计次),才能计算出真正的全局 ∥g∥2。
  3. Batch Size 扩大后盲目线性放大 LR:经典的线性缩放法则(η∝B)仅适用于纯 SGD 图像分类任务;在 AdamW 预训练 LLM 中,盲目线性放大极易引发 Loss Spike,应优先遵循 η∝B 并结合 μP(Maximal Update Parametrization)进行小模型代理搜索。

延伸阅读与参考论文 ​

  • Loshchilov, I., & Hutter, F. (2017). SGDR: Stochastic Gradient Descent with Warm Restarts. ICLR 2017. (arXiv:1608.03983 ↗)
  • McCandlish, S., et al. (2018). An Empirical Model of Large-Batch Training. OpenAI. (arXiv:1812.06162 ↗)
  • Zhai, X., et al. (2022). Scaling Vision Transformers (首次系统提出 WSD 思想). CVPR 2022. (arXiv:2106.04560 ↗)
  • Hu, S., et al. (2024). MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies. (arXiv:2404.06395 ↗)
  • Hägele, A., et al. (2024). Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations. NeurIPS 2024. (arXiv:2405.18392 ↗)
  • DeepSeek-AI (2024). DeepSeek-V3 Technical Report. (arXiv:2412.19437 ↗)