Skip to content

大模型优化器演进:从 AdamW、Adafactor、Lion 到 Sophia 与 Muon

深入推导 SGD、AdamW、Adafactor、Lion、Sophia 与 Muon 的更新机制、曲率适配及显存权衡。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是优化器(Optimizer)?

如果把训练大模型比作蒙着眼睛在群山里寻找最低的山谷(误差最小处),反向传播 负责告诉你脚下哪个方向是下坡(算出梯度),而 优化器(Optimizer) 就是决定你每一步具体怎么迈脚的决策算法。

最简单的 SGD 只管顺着当前坡度直走,容易在狭长山谷里左右撞墙;Adam / AdamW 给每个参数装上“惯性动量”和“独立自适应步长”;而 Lion、Sophia、Muon 则是新一代试图用更省显存或更符合矩阵几何的方式,让大模型以更少步数收敛到更优解的前沿优化器。

01 问题从何而来:为什么经典的 SGD 训不动大模型? ​

通过 预训练目标函数 和 反向传播,我们拿到了每个参数的梯度——它指明了“往哪走能让当前这批数据的误差变小”。听起来只要顺着梯度反方向迈步(SGD)就能走到山底?真拿 SGD 去训一个 Transformer 大模型,你大概率会看到 Loss 像心电图一样剧烈抖动,甚至跑了一周还在原地踏步。

问题出在大模型的“地形”实在太畸形了。一个大模型里既有高频词也有十万字才出现一次的生僻词,既有 自注意力机制 投影矩阵,也有 归一化层 的缩放系数。不同参数的梯度大小动辄相差几千倍,地形就像一条一面是万丈悬崖、另一面是漫长缓坡的狭长峡谷。

类比 · 盲人下山:统一迈步的灾难

想象你蒙着眼睛站在一条极窄的峡谷半山腰,手里只有一条铁律:“每次沿坡度方向走固定倍率的一步(SGD)。”

  • 如果步子定得大一点,你在陡峭的峡谷左右两壁之间来回撞墙反弹,越弹越高,直接飞出山谷(梯度爆炸);
  • 如果为了不撞墙把步子缩得极小,你在悬崖方向稳住了,可顺着平缓谷底往前走,走到天黑也挪不出一米(收敛停滞)。
核心设问

能不能给模型的每一个参数都配一套“因地制宜”的步长调节器,在陡坡自动刹车、在平路自动加速?更进一步,当模型大到几百亿参数、连调节器本身都把显卡撑爆时,我们又该怎么给它瘦身,甚至让它看懂权重矩阵的整体几何结构?

02 核心直觉与生活类比:从“独立减震器”到“矩阵整队” ​

过去七年大模型优化器的演化,就是一场不断升级下山装备的接力赛:从事实标准 AdamW,到极致省显存的 Adafactor / Lion,再到看懂二维矩阵几何的新星 Muon。

类比 · AdamW:给每个坐标轴装上独立的弹簧减震器

AdamW (2019) ↗ 的思路极其朴素实用:为每一个参数建两本账——一本叫一阶动量 mt,记着它最近一直往哪边走,帮你冲过小坑洼和噪声;另一本叫二阶矩 vt,记着它历史上坡度有多陡(梯度平方的滑动平均)。

每次迈步时,用动量除以历史陡度的平方根:坡越陡,分母越大,自动踩刹车;坡越平,分母越小,自动加把劲。同时,AdamW 修复了老版 Adam 把权重衰减混进梯度里导致“大梯度参数反而不受约束”的 Bug,把权重衰减单独拆出来直接按比例收缩权重,从此稳坐大模型默认优化器宝座七年之久。

类比 · Muon:别再把矩阵当成一盘散沙,把它的方向“扶正”!

AdamW 虽然稳健,但它有个隐藏盲区:它把一张 4096×4096 的权重矩阵看成了 1677 万个互不相识的独立数字,各自调各自的步长。可实际上,神经网络里的隐藏层权重是一张完整的二维线性变换矩阵。训练中它的梯度矩阵往往极其“偏科”——能量全堆在少数一两个主导方向(大奇异值)上,其余几百个有价值的特征方向声音微弱,完全被淹没了。

Muon(Technical Blog ↗,已在 Moonlight / Kimi (2025) ↗ 上验证至大规模)像一位严厉的阅兵教官:它不再逐个数字微调,而是把整张二维动量矩阵拉出来做一次正交化(近似极分解 UV⊤),把所有非零奇异值拉齐到接近 1。这相当于把嗓门太大的主导方向压平、把微弱但关键的细微方向托起,让整张权重矩阵的各个有效维度齐头并进。更绝的是,它不需要慢如蜗牛的精确 SVD,只需 5 步纯矩阵乘(Newton-Schulz 迭代) 就能在 GPU Tensor Core 上瞬间完成,额外算力开销不到 1%!

至于中途登场的其他流派,也各有绝活:Adafactor(arXiv ↗)把二阶矩账本压缩成“行均值 + 列均值”来省显存;Lion(arXiv ↗)干脆扔掉二阶矩,只看动量的正负号迈等长步伐,显存直接减半;Sophia(arXiv ↗)则每隔几步偷偷测量一下地面的真实弯曲度(对角 Hessian),在平缓盆地里跨出更大步伐。

03 把关键公式读成人话 ​

先看大模型界最经典的 AdamW 更新公式:

θt=(1−ηtλ)θt−1−ηtm^tv^t+ϵ

把 AdamW 公式读成直觉:- (1−ηtλ)θt−1 是解耦权重衰减:每走一步,先把老权重轻轻往零点拉回一点点(像拴着一根细橡皮筋),防止权重无限膨胀过拟合,且不会被后面的自适应分母干扰;

  • m^t 是去除了起步冷启动偏差的平均前进方向(顺着历史惯性走,滤掉单个小批次的随机抖动);
  • v^t+ϵ 是自动限速器:如果这个参数向来梯度剧烈波动,v^t 就很大,把步子压小;末尾的极小常数 ϵ(通常 10−8)防止分母为零炸掉。

再看新一代 Muon 的核心迭代——五步 Newton-Schulz 正交化(先归一化 X0=Gt/∥Gt∥F):

Xk+1=aXk+b(XkXk⊤)Xk+c(XkXk⊤)2Xk

把 Newton-Schulz 公式读成直觉:别被三次和五次方吓到——矩阵 Xk 的奇异值 σ 经过这个多项式后,会变成 aσ+bσ3+cσ5。精心挑选的系数 (3.4445,−4.7750,2.0315) 就像一只自动塑形钳:不管原来奇异值是 0.05 还是 0.95,只要反复喂进这个纯矩阵乘公式 5 次,全部都会被拉拢到 1 附近。于是矩阵被快速“扶正”成近似正交矩阵,既保住了几何方向,又彻底治好了梯度的“偏科病”。

04 它在模型里怎么工作 & 与上下游的关系 ​

优化器是整个预训练循环里最沉重的“幕后管家”,它的设计直接决定了显存账本和并行框架的走向:

  • 显存账本的头号大户:在 混合精度训练 里,为了防止极小的参数更新在 BF16 下被四舍五入抹平,AdamW 必须用 FP32 存一份主权重(4Ψ)外加一阶矩(4Ψ)和二阶矩(4Ψ)——单是优化器相关状态就吞掉 12Ψ 字节,占了总静态显存的 75%!正是这块巨型账本,直接催生了 ZeRO Stage 1 与 FSDP 的状态分片,以及 显存优化 中的 CPU Offload。
  • 与步长控制器的默契配合:优化器决定“每个参数相对走多少”,而全局步长怎么冷启动、怎么平稳巡航、怎么退火收尾,完全交给 学习率调度与梯度裁剪 来掌舵。
  • Muon 的“混合双打”范式:Muon 只擅长处理 2D 隐藏层权重(Attention 与 FFN 矩阵),对于稀疏查表的 词嵌入层、输出头以及 1D 的 归一化 参数,仍必须交给 AdamW 照看。因此现代前沿训练采用的是 Muon + AdamW 混合路由。

05 演化对比与避坑备忘 ​

优化器状态显存/参数预条件直觉适用参数一句话定位
SGD + Momentum4 B (m)统一顺坡滚球全参数显存极小,但在 Transformer 上极难收敛
AdamW8 B (m,v)逐元素弹簧减震全参数最稳健的通用王者,生态与超参最成熟
Adafactor0–4 B行列均值压缩账本2D 矩阵为主省显存老将,T5/PaLM 时代功臣
Lion4 B (m)只看动量符号迈步全参数显存减半、大 Batch 犀利,但挑学习率
Sophia8 B (m,h)轻量对角曲率感知全参数用 Hessian 加速平地奔跑,实现较复杂
Muon4 B (m)5 步矩阵谱正交化仅 2D 隐藏层样本与算力效率大幅领先,需搭档 AdamW

工程调参时,务必避开这三个高频深坑:

  1. 别照抄 PyTorch 默认的 beta2=0.999:大模型预训练几乎清一色把 AdamW 的 β2 降到 0.95。在大 Batch 训练中,一旦某步遇到脏数据爆出梯度尖峰,0.999 会把那次惊吓记上千步,导致模型长时间步长缩死、Loss 停滞;0.95 能让二阶矩快速忘掉异常尖峰、恢复活力。
  2. 绝不给 Norm、Bias 和 Embedding 加权重衰减:把 weight_decay 盲目套在全模型参数上,会把 RMSNorm / LayerNorm 的缩放系数 γ 硬生生往零拉,破坏特征方差稳定。务必在构建 param_groups 时把 1D 参数和偏置的 weight_decay 显式设为 0.0。
  3. 别把 AdamW 状态降级成 BF16,也别对 QKV 拼盘整块跑 Muon:BF16 尾数太短,微小梯度平方 gt2 一算就下溢归零,分母直接退化成 ϵ 导致爆炸;而用 Muon 时,如果代码把 WQ,WK,WV 拼成了一张大矩阵,应先拆开各自正交化,别让三者的奇异值互相串味。

需要查阅 Adafactor/Sophia/Muon 的完整数学推导、混合路由架构图以及含 zeropower_via_newtonschulz5 的可运行 PyTorch 实现?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

大语言模型的损失函数地形(Loss Landscape)具有高度病态(Ill-conditioned)、各向异性(Anisotropic)和强随机噪声的特征:不同层(如 词嵌入层、自注意力机制 投影、归一化层)甚至同一矩阵不同方向上的梯度幅值与曲率可相差数个数量级。优化器(Optimizer)接收来自 反向传播 的随机梯度,其核心使命是在计算开销、显存占用与收敛速度构成的“不可能三角”中,找到穿越这片崎岖高维地形的最佳步长与更新方向。

直观理解

如果在漆黑的群山中寻找最低点:SGD+Momentum 像是顺坡滚下的重球,但遇到陡峭峡谷容易在两壁剧烈震荡;AdamW 为每个坐标轴配备了独立的减震器(按历史梯度方差自动缩放步长),稳健但需为每个参数背负两份沉重账本;Adafactor 用矩阵的“行均值与列均值”压缩账本;Lion 只看动量的正负号迈出等长步伐;Sophia 试探地面弯曲度(Hessian)以在平坦处大步流星;而 Muon 则把权重当成整体矩阵,用迭代正交化把梯度“扶正”,让矩阵的每个奇异值方向以均衡速度进化。

问题动机与演进背景 ​

  1. 为什么 SGD 在 Transformer 上大幅落后于 Adam? 在 CNN 上表现优异的 SGD+Momentum 在大语言模型训练中极难收敛。理论分析表明,Transformer 的 Hessian 特征值谱呈强烈的重尾块对角分布,且低频词与高频词梯度尺度悬殊。SGD 使用全局标量学习率,要么在陡峭方向发散,要么在平坦方向停滞不前。
  2. Adam 的 L2 正则化陷阱与 AdamW 的确立 原始 Adam 将 L2 权重衰减直接加进梯度中,导致权重衰减项被自适应分母 v^t 错误缩放,大梯度参数的正则化效果被削弱。AdamW 将权重衰减与梯度更新彻底解耦,成为近七年 LLM 预训练的事实标准。
  3. 突破显存墙与样本效率瓶颈的新一代优化器 AdamW 需要为每个参数保存 FP32 的一阶矩 mt 与二阶矩 vt(每参数 8 字节),在百亿级以上模型中造成巨大显存压力;同时,逐元素(Element-wise)对角缩放忽略了权重矩阵的二维结构。由此催生了三条演进路线:
    • 极致显存压缩:Adafactor(对二阶矩做秩-1 分解)与 Lion(仅保留一阶动量并用符号函数更新)。
    • 轻量二阶曲率:Sophia(周期性估计对角 Hessian 并做逐元素裁剪)。
    • 矩阵几何预条件:Muon(针对 2D 隐藏层权重执行 Newton-Schulz 矩阵正交化,显著提升缩放效率,已在 Kimi K2 等超大规模训练中验证)。

核心原理与数学推导 ​

记第 t 步模型参数为 θt,随机梯度为 gt=∇θL(θt−1),学习率为 ηt,权重衰减系数为 λ。

1. SGD + Momentum ​

引入指数移动平均动量 mt 以抑制小批量梯度噪声并加速平坦方向穿越:

mt=βmt−1+gt,θt=θt−1−ηtmt

2. Adam 与解耦权重衰减(AdamW) ​

Adam 维护梯度的指数移动一阶矩 mt(动量)与二阶原始矩 vt(梯度平方均值),并施加零初始化偏差修正:

mt=β1mt−1+(1−β1)gt,vt=β2vt−1+(1−β2)gt2m^t=mt1−β1t,v^t=vt1−β2t

AdamW 将权重衰减直接作用于参数本身,而非混入梯度 gt:

θt=(1−ηtλ)θt−1−ηtm^tv^t+ϵ

从尺度不变性角度看,若某参数梯度的整体幅值翻倍,m^t/v^t 近似保持不变,这使得各层各通道自动对齐到相似的相对更新幅度;典型超参为 β1=0.9,β2=0.95,ϵ=10−8,λ=0.1。

3. Adafactor:低秩分解二阶矩 ​

对于二维权重矩阵 W∈Rn×m,AdamW 需存储 O(nm) 的二阶矩矩阵 Vt。Adafactor 利用非负矩阵的秩-1 KL 散度最优近似,仅维护行均值向量 Rt∈Rn 与列均值向量 Ct∈Rm:

Rt=β^2tRt−1+(1−β^2t)(Gt21m),Ct=β^2tCt−1+(1−β^2t)(1n⊤Gt2)V^t=RtCt⊤1n⊤Rt

通过重构 V^t 缩放梯度并施加 RMS 裁剪(Update Clipping),Adafactor 将二阶矩显存从 O(nm) 降至 O(n+m),且在默认禁用一阶动量时几乎消除了优化器状态显存(曾广泛用于 T5 与 PaLM)。

4. Lion(EvoLved Sign Momentum) ​

Lion 由 Google 通过符号程序搜索发现,完全抛弃二阶矩,仅保留单一动量 mt,并通过双动量系数 (β1,β2) 与符号函数 sign(⋅) 生成更新方向:

ut=sign(β1mt−1+(1−β1)gt)θt=(1−ηtλ)θt−1−ηtutmt=β2mt−1+(1−β2)gt

由于每个坐标的更新步长大小恒为 ηt,Lion 的更新范数远大于 AdamW,因此工程上通常需要将学习率调小 3–10 倍,同时将权重衰减 λ 调大 3–10 倍以维持相同的有效衰减强度 ηtλ。

5. Sophia(Second-order Clipped Stochastic Optimization) ​

Adam 的分母 v^t 本质上是梯度幅值的缩放,并不等价于真正的二阶曲率(Hessian)。Sophia 维护对角 Hessian 估计 ht,并每隔 k 步(如 k=10)使用轻量估计器(Hutchinson 估计器或 Gauss-Newton-Bartlett 估计器)刷新一次,将额外算力开销摊薄至不足 5%:

h^Hutchinson=u⊙(∇2L(θ)u),u∼N(0,I)ht=β2ht−k+(1−β2)h^t

为防止非凸区域出现负曲率或极小曲率导致步长爆炸,Sophia 对更新比值施加逐元素硬裁剪:

θt=(1−ηtλ)θt−1−ηt⋅clip(mtmax{γht,ϵ},−1,1)

6. Muon(MomentUm Orthogonalized by Newton-Schulz) ​

对于神经网络中的二维隐藏层权重 W∈Rm×n,动量梯度矩阵 Gt∈Rm×n 通常高度低秩,少数主导奇异值掩盖了其余维度的有效学习信号。Muon 的核心思想是在谱范数(Spectral Norm)约束下求解最速下降,其理论最优更新方向恰好是动量矩阵 Gt 的最近正交矩阵(极分解因子):

Ortho(Gt)=UV⊤,其中 Gt=UΣV⊤ 为 SVD 分解

直接对每个权重矩阵做精确 SVD 在 GPU 上极其缓慢。Muon 采用只需 5 步纯矩阵乘(天然适配 Tensor Core BF16 加速)的五次 Newton-Schulz 迭代 高效逼近极分解因子。先对矩阵做 Frobenius 范数归一化 X0=Gt/(∥Gt∥F+ϵ),随后迭代 K=5 步:

Xk+1=aXk+b(XkXk⊤)Xk+c(XkXk⊤)2Xk

选取最优多项式系数 (a,b,c)=(3.4445,−4.7750,2.0315),可将所有非零奇异值快速映射至 [0.5,1.5] 附近,在几乎不损失收敛性的前提下将正交化开销控制在总 FLOPs 的 1% 以内。需要注意:Muon 仅用于 2D 隐藏层权重矩阵,词嵌入层、输出头与 1D 归一化/偏置参数仍需搭配 AdamW(混合优化方案),并依据矩阵形状乘以缩放因子 max(m,n)(或在 Moonlight/Kimi K2 中匹配 AdamW 的 RMS 尺度 0.2max(m,n))以稳定跨尺寸迁移。

算法架构与数据流图 ​

下图展示了现代混合优化器架构(Muon + AdamW)中不同参数组的路由与状态流转:

图表加载中...

复杂度与横向对比 ​

设单层二维矩阵维度为 m×n,总参数量为 Ψ(按 FP32 优化器状态统计每参数字节数,不含 FP32 Master Weights):

优化器状态显存/参数额外计算开销预条件类型适用参数范围核心优势主要挑战
SGD + Momentum4 B (m)极低标量全参数显存极小、泛化稳健Transformer 训练极难调参且收敛慢
AdamW8 B (m,v)低对角一阶矩/二阶矩全参数极其稳健、超参生态成熟显存开销高、忽视矩阵跨维度结构
Adafactor约 0–4 B低秩-1 因子化对角2D 矩阵为主几乎消除二阶矩显存去掉一阶矩时大模型收敛略弱于 AdamW
Lion4 B (m)极低逐元素符号归一化全参数显存减半、大 Batch 表现好对学习率与权重衰减敏感、小 Batch 噪声大
Sophia8 B (m,h)中 (+5% 步均)对角 Hessian 曲率全参数曲率感知、收敛步数显著减少Hessian 估计实现复杂、与流水线并行适配较繁琐
Muon4 B (m)低 (+1%~2%)矩阵谱正交化仅 2D 隐藏层矩阵样本效率与计算效率显著优于 AdamW需与 AdamW 混合使用;分布式下需完整矩阵或高效分片通信

核心 PyTorch 参考实现 ​

下面给出 AdamW、Lion 与 Muon(含 5 步 Newton-Schulz 正交化) 的简洁可运行实现:

python
import math
import torch
from torch.optim import Optimizer


@torch.no_grad()
def zeropower_via_newtonschulz5(G: torch.Tensor, steps: int = 5) -> torch.Tensor:
    """使用 5 步五次 Newton-Schulz 迭代近似计算 2D 矩阵的极分解正交因子 U @ V^T。"""
    assert G.ndim == 2, f"期望 2D 矩阵,但得到 shape={G.shape}"
    a, b, c = (3.4445, -4.7750, 2.0315)
    # 转为 bfloat16 以充分利用 Tensor Core;若行数多于列数则转置减小矩阵乘尺寸
    X = G.to(torch.bfloat16) if G.is_cuda else G.float()
    transposed = X.size(0) > X.size(1)
    if transposed:
        X = X.T  # [min(m, n), max(m, n)]
    X = X / (X.norm() + 1e-7)  # Frobenius 归一化,确保初始奇异值 <= 1
    for _ in range(steps):
        A = X @ X.T             # [r, r]
        B = b * A + c * (A @ A) # [r, r]
        X = a * X + B @ X       # [r, c]
    if transposed:
        X = X.T
    return X.to(G.dtype)


class Muon(Optimizer):
    """Muon 优化器(仅面向 2D 隐藏层权重矩阵,建议搭配 AdamW 优化其余参数)。"""

    def __init__(self, params, lr: float = 0.02, momentum: float = 0.95, nesterov: bool = True, weight_decay: float = 0.1, ns_steps: int = 5):
        defaults = dict(lr=lr, momentum=momentum, nesterov=nesterov, weight_decay=weight_decay, ns_steps=ns_steps)
        super().__init__(params, defaults)

    @torch.no_grad()
    def step(self, closure=None):
        loss = closure() if closure is not None else None
        for group in self.param_groups:
            lr, beta = group["lr"], group["momentum"]
            wd, ns_steps, nesterov = group["weight_decay"], group["ns_steps"], group["nesterov"]
            for p in group["params"]:
                if p.grad is None:
                    continue
                g = p.grad  # [m, n]
                state = self.state[p]
                if "momentum_buffer" not in state:
                    state["momentum_buffer"] = torch.zeros_like(g)
                buf = state["momentum_buffer"]
                buf.mul_(beta).add_(g)  # buf = beta * buf + g
                update = g.add(buf, alpha=beta) if nesterov else buf

                # 矩阵正交化并匹配 AdamW RMS 尺度 (Moonlight 缩放公式)
                ortho = zeropower_via_newtonschulz5(update, steps=ns_steps)  # [m, n]
                scale = 0.2 * math.sqrt(max(p.size(0), p.size(1)))

                # 解耦权重衰减 + 正交步长更新
                if wd != 0.0:
                    p.mul_(1.0 - lr * wd)
                p.add_(ortho, alpha=-lr * scale)
        return loss


class Lion(Optimizer):
    """Lion 符号动量优化器。"""

    def __init__(self, params, lr: float = 1e-4, betas: tuple[float, float] = (0.9, 0.99), weight_decay: float = 0.1):
        defaults = dict(lr=lr, betas=betas, weight_decay=weight_decay)
        super().__init__(params, defaults)

    @torch.no_grad()
    def step(self, closure=None):
        loss = closure() if closure is not None else None
        for group in self.param_groups:
            lr, (beta1, beta2), wd = group["lr"], group["betas"], group["weight_decay"]
            for p in group["params"]:
                if p.grad is None:
                    continue
                g = p.grad
                state = self.state[p]
                if "exp_avg" not in state:
                    state["exp_avg"] = torch.zeros_like(p)
                m = state["exp_avg"]
                # 解耦权重衰减
                if wd != 0.0:
                    p.mul_(1.0 - lr * wd)
                # 用 beta1 插值方向取符号更新权重
                update = m.mul(beta1).add(g, alpha=1.0 - beta1).sign_()
                p.add_(update, alpha=-lr)
                # 用 beta2 更新持久动量
                m.mul_(beta2).add_(g, alpha=1.0 - beta2)
        return loss


if __name__ == "__main__":
    torch.manual_seed(0)
    # 验证 Newton-Schulz 正交化效果:奇异值应高度集中在 1 附近
    W = torch.randn(64, 128, requires_grad=True)
    opt = Muon([W], lr=1e-2)
    loss = (W ** 2).mean()
    loss.backward()
    ortho_g = zeropower_via_newtonschulz5(W.grad)
    sv = torch.linalg.svdvals(ortho_g)
    print(f"正交化后奇异值范围: min={sv.min():.3f}, max={sv.max():.3f}, mean={sv.mean():.3f}")
    opt.step()
    print(f"Muon 单步更新后权重范数: {W.norm():.4f}")

工程实践与常见陷阱 ​

工程实践

  1. AdamW 大模型默认超参法则:主流 LLM(LLaMA-3、DeepSeek、Qwen)普遍将 β2 从 PyTorch 默认的 0.999 下调至 0.95,并与 学习率调度与梯度裁剪 协同调节。这是因为大 Batch 下二阶矩需要更快遗忘旧的异常梯度尖峰,否则遇到 Loss Spike 后模型会长时间处于步长过小的“假死”状态。
  2. 权重衰减的参数分组隔离:严禁对 LayerNorm / RMSNorm 的缩放权重 γ、所有 Bias 项以及部分实现中的 Embedding 层施加权重衰减(设为 weight_decay=0.0),否则会破坏特征方差稳定机制并损害低频词表征。
  3. 分布式环境下的 Muon(ZeRO-1 适配):由于 Newton-Schulz 迭代需要完整的 2D 矩阵,若直接按扁平一维张量做 ZeRO / FSDP 切分将破坏矩阵维度。Moonlight(Kimi)工程实践表明,可按整块参数矩阵粒度分配给不同 DP Rank 各自独立执行正交化,再通过 All-Gather 同步更新后的权重,额外通信量几乎为零。

常见陷阱

  1. BF16 精度下优化器状态精度塌陷:在 混合精度训练 中,若将 AdamW 的 mt,vt 直接存为 BF16,极小的梯度平方 gt2 会直接下溢归零,导致分母退化为 ϵ 而引发梯度爆炸。即便激活与梯度使用 BF16/FP8,优化器状态通常也应保持 FP32(或使用带随机舍入的 8-bit AdamW,如 bitsandbytes),显存吃紧时可结合 训练显存全景优化 中的 ZeRO-Offload 卸载至 CPU。
  2. 忽视 ϵ 对大模型稳定性的影响:在深层 Transformer 中梯度范数可能非常小,若 ϵ 过大(如 10−5)会削弱自适应能力;若在 FP16 下过小(如 10−8)则可能下溢。FP32 状态通常取 ϵ=10−8,深层极大规模训练有时采用 10−15 配合 RMSNorm 防止分母主导更新。
  3. Muon 错用于 Embedding 或 QKV 拼接大矩阵:词嵌入层属于稀疏查表操作,对其整体正交化毫无几何意义;此外,对于将 Q,K,V 拼接为一个大矩阵的实现,应当分别对 WQ,WK,WV 各自正交化,或注意拼接后的奇异值耦合影响。

延伸阅读与参考论文 ​

  • Loshchilov, I., & Hutter, F. (2019). Decoupled Weight Decay Regularization (AdamW). ICLR 2019. (arXiv:1711.05101 ↗)
  • Shazeer, N., & Stern, M. (2018). Adafactor: Adaptive Learning Rates with Sublinear Memory Cost. ICML 2018. (arXiv:1804.04235 ↗)
  • Chen, X., et al. (2023). Symbolic Discovery of Optimization Algorithms (Lion). NeurIPS 2023. (arXiv:2302.06675 ↗)
  • Liu, H., et al. (2024). Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training. ICLR 2024. (arXiv:2305.14342 ↗)
  • Jordan, K., et al. (2024). Muon: An optimizer for hidden layers in neural networks. Technical Blog. (Blog ↗)
  • Liu, J., et al. (2025). Muon is Scalable for LLM Training (Moonlight / Kimi). (arXiv:2502.16982 ↗)