外观
概念定义 · 什么是优化器(Optimizer)?
如果把训练大模型比作蒙着眼睛在群山里寻找最低的山谷(误差最小处),反向传播 负责告诉你脚下哪个方向是下坡(算出梯度),而 优化器(Optimizer) 就是决定你每一步具体怎么迈脚的决策算法。
最简单的 SGD 只管顺着当前坡度直走,容易在狭长山谷里左右撞墙;Adam / AdamW 给每个参数装上“惯性动量”和“独立自适应步长”;而 Lion、Sophia、Muon 则是新一代试图用更省显存或更符合矩阵几何的方式,让大模型以更少步数收敛到更优解的前沿优化器。
01 问题从何而来:为什么经典的 SGD 训不动大模型?
通过 预训练目标函数 和 反向传播,我们拿到了每个参数的梯度——它指明了“往哪走能让当前这批数据的误差变小”。听起来只要顺着梯度反方向迈步(SGD)就能走到山底?真拿 SGD 去训一个 Transformer 大模型,你大概率会看到 Loss 像心电图一样剧烈抖动,甚至跑了一周还在原地踏步。
问题出在大模型的“地形”实在太畸形了。一个大模型里既有高频词也有十万字才出现一次的生僻词,既有 自注意力机制 投影矩阵,也有 归一化层 的缩放系数。不同参数的梯度大小动辄相差几千倍,地形就像一条一面是万丈悬崖、另一面是漫长缓坡的狭长峡谷。
类比 · 盲人下山:统一迈步的灾难
想象你蒙着眼睛站在一条极窄的峡谷半山腰,手里只有一条铁律:“每次沿坡度方向走固定倍率的一步(SGD)。”
- 如果步子定得大一点,你在陡峭的峡谷左右两壁之间来回撞墙反弹,越弹越高,直接飞出山谷(梯度爆炸);
- 如果为了不撞墙把步子缩得极小,你在悬崖方向稳住了,可顺着平缓谷底往前走,走到天黑也挪不出一米(收敛停滞)。
核心设问
能不能给模型的每一个参数都配一套“因地制宜”的步长调节器,在陡坡自动刹车、在平路自动加速?更进一步,当模型大到几百亿参数、连调节器本身都把显卡撑爆时,我们又该怎么给它瘦身,甚至让它看懂权重矩阵的整体几何结构?
02 核心直觉与生活类比:从“独立减震器”到“矩阵整队”
过去七年大模型优化器的演化,就是一场不断升级下山装备的接力赛:从事实标准 AdamW,到极致省显存的 Adafactor / Lion,再到看懂二维矩阵几何的新星 Muon。
类比 · AdamW:给每个坐标轴装上独立的弹簧减震器
AdamW (2019) ↗ 的思路极其朴素实用:为每一个参数建两本账——一本叫一阶动量
每次迈步时,用动量除以历史陡度的平方根:坡越陡,分母越大,自动踩刹车;坡越平,分母越小,自动加把劲。同时,AdamW 修复了老版 Adam 把权重衰减混进梯度里导致“大梯度参数反而不受约束”的 Bug,把权重衰减单独拆出来直接按比例收缩权重,从此稳坐大模型默认优化器宝座七年之久。
类比 · Muon:别再把矩阵当成一盘散沙,把它的方向“扶正”!
AdamW 虽然稳健,但它有个隐藏盲区:它把一张
Muon(Technical Blog ↗,已在 Moonlight / Kimi (2025) ↗ 上验证至大规模)像一位严厉的阅兵教官:它不再逐个数字微调,而是把整张二维动量矩阵拉出来做一次正交化(近似极分解
至于中途登场的其他流派,也各有绝活:Adafactor(arXiv ↗)把二阶矩账本压缩成“行均值 + 列均值”来省显存;Lion(arXiv ↗)干脆扔掉二阶矩,只看动量的正负号迈等长步伐,显存直接减半;Sophia(arXiv ↗)则每隔几步偷偷测量一下地面的真实弯曲度(对角 Hessian),在平缓盆地里跨出更大步伐。
03 把关键公式读成人话
先看大模型界最经典的 AdamW 更新公式:
把 AdamW 公式读成直觉:-
是去除了起步冷启动偏差的平均前进方向(顺着历史惯性走,滤掉单个小批次的随机抖动); 是自动限速器:如果这个参数向来梯度剧烈波动, 就很大,把步子压小;末尾的极小常数 (通常 )防止分母为零炸掉。
再看新一代 Muon 的核心迭代——五步 Newton-Schulz 正交化(先归一化
把 Newton-Schulz 公式读成直觉:别被三次和五次方吓到——矩阵
04 它在模型里怎么工作 & 与上下游的关系
优化器是整个预训练循环里最沉重的“幕后管家”,它的设计直接决定了显存账本和并行框架的走向:
- 显存账本的头号大户:在 混合精度训练 里,为了防止极小的参数更新在 BF16 下被四舍五入抹平,AdamW 必须用 FP32 存一份主权重(
)外加一阶矩( )和二阶矩( )——单是优化器相关状态就吞掉 字节,占了总静态显存的 75%!正是这块巨型账本,直接催生了 ZeRO Stage 1 与 FSDP 的状态分片,以及 显存优化 中的 CPU Offload。 - 与步长控制器的默契配合:优化器决定“每个参数相对走多少”,而全局步长怎么冷启动、怎么平稳巡航、怎么退火收尾,完全交给 学习率调度与梯度裁剪 来掌舵。
- Muon 的“混合双打”范式:Muon 只擅长处理 2D 隐藏层权重(Attention 与 FFN 矩阵),对于稀疏查表的 词嵌入层、输出头以及 1D 的 归一化 参数,仍必须交给 AdamW 照看。因此现代前沿训练采用的是 Muon + AdamW 混合路由。
05 演化对比与避坑备忘
| 优化器 | 状态显存/参数 | 预条件直觉 | 适用参数 | 一句话定位 |
|---|---|---|---|---|
| SGD + Momentum | 4 B ( | 统一顺坡滚球 | 全参数 | 显存极小,但在 Transformer 上极难收敛 |
| AdamW | 8 B ( | 逐元素弹簧减震 | 全参数 | 最稳健的通用王者,生态与超参最成熟 |
| Adafactor | 0–4 B | 行列均值压缩账本 | 2D 矩阵为主 | 省显存老将,T5/PaLM 时代功臣 |
| Lion | 4 B ( | 只看动量符号迈步 | 全参数 | 显存减半、大 Batch 犀利,但挑学习率 |
| Sophia | 8 B ( | 轻量对角曲率感知 | 全参数 | 用 Hessian 加速平地奔跑,实现较复杂 |
| Muon | 4 B ( | 5 步矩阵谱正交化 | 仅 2D 隐藏层 | 样本与算力效率大幅领先,需搭档 AdamW |
工程调参时,务必避开这三个高频深坑:
- 别照抄 PyTorch 默认的
beta2=0.999:大模型预训练几乎清一色把 AdamW 的降到 0.95。在大 Batch 训练中,一旦某步遇到脏数据爆出梯度尖峰,0.999会把那次惊吓记上千步,导致模型长时间步长缩死、Loss 停滞;0.95能让二阶矩快速忘掉异常尖峰、恢复活力。 - 绝不给 Norm、Bias 和 Embedding 加权重衰减:把
weight_decay盲目套在全模型参数上,会把 RMSNorm / LayerNorm 的缩放系数硬生生往零拉,破坏特征方差稳定。务必在构建 param_groups时把 1D 参数和偏置的weight_decay显式设为0.0。 - 别把 AdamW 状态降级成 BF16,也别对 QKV 拼盘整块跑 Muon:BF16 尾数太短,微小梯度平方
一算就下溢归零,分母直接退化成 导致爆炸;而用 Muon 时,如果代码把 拼成了一张大矩阵,应先拆开各自正交化,别让三者的奇异值互相串味。
需要查阅 Adafactor/Sophia/Muon 的完整数学推导、混合路由架构图以及含
zeropower_via_newtonschulz5的可运行 PyTorch 实现?按快捷键M或点击顶部技术 Wiki随时切换。
大语言模型的损失函数地形(Loss Landscape)具有高度病态(Ill-conditioned)、各向异性(Anisotropic)和强随机噪声的特征:不同层(如 词嵌入层、自注意力机制 投影、归一化层)甚至同一矩阵不同方向上的梯度幅值与曲率可相差数个数量级。优化器(Optimizer)接收来自 反向传播 的随机梯度,其核心使命是在计算开销、显存占用与收敛速度构成的“不可能三角”中,找到穿越这片崎岖高维地形的最佳步长与更新方向。
直观理解
如果在漆黑的群山中寻找最低点:SGD+Momentum 像是顺坡滚下的重球,但遇到陡峭峡谷容易在两壁剧烈震荡;AdamW 为每个坐标轴配备了独立的减震器(按历史梯度方差自动缩放步长),稳健但需为每个参数背负两份沉重账本;Adafactor 用矩阵的“行均值与列均值”压缩账本;Lion 只看动量的正负号迈出等长步伐;Sophia 试探地面弯曲度(Hessian)以在平坦处大步流星;而 Muon 则把权重当成整体矩阵,用迭代正交化把梯度“扶正”,让矩阵的每个奇异值方向以均衡速度进化。
问题动机与演进背景
- 为什么 SGD 在 Transformer 上大幅落后于 Adam? 在 CNN 上表现优异的 SGD+Momentum 在大语言模型训练中极难收敛。理论分析表明,Transformer 的 Hessian 特征值谱呈强烈的重尾块对角分布,且低频词与高频词梯度尺度悬殊。SGD 使用全局标量学习率,要么在陡峭方向发散,要么在平坦方向停滞不前。
- Adam 的 L2 正则化陷阱与 AdamW 的确立 原始 Adam 将 L2 权重衰减直接加进梯度中,导致权重衰减项被自适应分母
错误缩放,大梯度参数的正则化效果被削弱。AdamW 将权重衰减与梯度更新彻底解耦,成为近七年 LLM 预训练的事实标准。 - 突破显存墙与样本效率瓶颈的新一代优化器 AdamW 需要为每个参数保存 FP32 的一阶矩
与二阶矩 (每参数 8 字节),在百亿级以上模型中造成巨大显存压力;同时,逐元素(Element-wise)对角缩放忽略了权重矩阵的二维结构。由此催生了三条演进路线: - 极致显存压缩:Adafactor(对二阶矩做秩-1 分解)与 Lion(仅保留一阶动量并用符号函数更新)。
- 轻量二阶曲率:Sophia(周期性估计对角 Hessian 并做逐元素裁剪)。
- 矩阵几何预条件:Muon(针对 2D 隐藏层权重执行 Newton-Schulz 矩阵正交化,显著提升缩放效率,已在 Kimi K2 等超大规模训练中验证)。
核心原理与数学推导
记第
1. SGD + Momentum
引入指数移动平均动量
2. Adam 与解耦权重衰减(AdamW)
Adam 维护梯度的指数移动一阶矩
AdamW 将权重衰减直接作用于参数本身,而非混入梯度
从尺度不变性角度看,若某参数梯度的整体幅值翻倍,
3. Adafactor:低秩分解二阶矩
对于二维权重矩阵
通过重构
4. Lion(EvoLved Sign Momentum)
Lion 由 Google 通过符号程序搜索发现,完全抛弃二阶矩,仅保留单一动量
由于每个坐标的更新步长大小恒为
5. Sophia(Second-order Clipped Stochastic Optimization)
Adam 的分母
为防止非凸区域出现负曲率或极小曲率导致步长爆炸,Sophia 对更新比值施加逐元素硬裁剪:
6. Muon(MomentUm Orthogonalized by Newton-Schulz)
对于神经网络中的二维隐藏层权重
直接对每个权重矩阵做精确 SVD 在 GPU 上极其缓慢。Muon 采用只需 5 步纯矩阵乘(天然适配 Tensor Core BF16 加速)的五次 Newton-Schulz 迭代 高效逼近极分解因子。先对矩阵做 Frobenius 范数归一化
选取最优多项式系数
算法架构与数据流图
下图展示了现代混合优化器架构(Muon + AdamW)中不同参数组的路由与状态流转:
图表加载中...
复杂度与横向对比
设单层二维矩阵维度为
| 优化器 | 状态显存/参数 | 额外计算开销 | 预条件类型 | 适用参数范围 | 核心优势 | 主要挑战 |
|---|---|---|---|---|---|---|
| SGD + Momentum | 4 B ( | 极低 | 标量 | 全参数 | 显存极小、泛化稳健 | Transformer 训练极难调参且收敛慢 |
| AdamW | 8 B ( | 低 | 对角一阶矩/二阶矩 | 全参数 | 极其稳健、超参生态成熟 | 显存开销高、忽视矩阵跨维度结构 |
| Adafactor | 约 0–4 B | 低 | 秩-1 因子化对角 | 2D 矩阵为主 | 几乎消除二阶矩显存 | 去掉一阶矩时大模型收敛略弱于 AdamW |
| Lion | 4 B ( | 极低 | 逐元素符号归一化 | 全参数 | 显存减半、大 Batch 表现好 | 对学习率与权重衰减敏感、小 Batch 噪声大 |
| Sophia | 8 B ( | 中 (+5% 步均) | 对角 Hessian 曲率 | 全参数 | 曲率感知、收敛步数显著减少 | Hessian 估计实现复杂、与流水线并行适配较繁琐 |
| Muon | 4 B ( | 低 (+1%~2%) | 矩阵谱正交化 | 仅 2D 隐藏层矩阵 | 样本效率与计算效率显著优于 AdamW | 需与 AdamW 混合使用;分布式下需完整矩阵或高效分片通信 |
核心 PyTorch 参考实现
下面给出 AdamW、Lion 与 Muon(含 5 步 Newton-Schulz 正交化) 的简洁可运行实现:
python
import math
import torch
from torch.optim import Optimizer
@torch.no_grad()
def zeropower_via_newtonschulz5(G: torch.Tensor, steps: int = 5) -> torch.Tensor:
"""使用 5 步五次 Newton-Schulz 迭代近似计算 2D 矩阵的极分解正交因子 U @ V^T。"""
assert G.ndim == 2, f"期望 2D 矩阵,但得到 shape={G.shape}"
a, b, c = (3.4445, -4.7750, 2.0315)
# 转为 bfloat16 以充分利用 Tensor Core;若行数多于列数则转置减小矩阵乘尺寸
X = G.to(torch.bfloat16) if G.is_cuda else G.float()
transposed = X.size(0) > X.size(1)
if transposed:
X = X.T # [min(m, n), max(m, n)]
X = X / (X.norm() + 1e-7) # Frobenius 归一化,确保初始奇异值 <= 1
for _ in range(steps):
A = X @ X.T # [r, r]
B = b * A + c * (A @ A) # [r, r]
X = a * X + B @ X # [r, c]
if transposed:
X = X.T
return X.to(G.dtype)
class Muon(Optimizer):
"""Muon 优化器(仅面向 2D 隐藏层权重矩阵,建议搭配 AdamW 优化其余参数)。"""
def __init__(self, params, lr: float = 0.02, momentum: float = 0.95, nesterov: bool = True, weight_decay: float = 0.1, ns_steps: int = 5):
defaults = dict(lr=lr, momentum=momentum, nesterov=nesterov, weight_decay=weight_decay, ns_steps=ns_steps)
super().__init__(params, defaults)
@torch.no_grad()
def step(self, closure=None):
loss = closure() if closure is not None else None
for group in self.param_groups:
lr, beta = group["lr"], group["momentum"]
wd, ns_steps, nesterov = group["weight_decay"], group["ns_steps"], group["nesterov"]
for p in group["params"]:
if p.grad is None:
continue
g = p.grad # [m, n]
state = self.state[p]
if "momentum_buffer" not in state:
state["momentum_buffer"] = torch.zeros_like(g)
buf = state["momentum_buffer"]
buf.mul_(beta).add_(g) # buf = beta * buf + g
update = g.add(buf, alpha=beta) if nesterov else buf
# 矩阵正交化并匹配 AdamW RMS 尺度 (Moonlight 缩放公式)
ortho = zeropower_via_newtonschulz5(update, steps=ns_steps) # [m, n]
scale = 0.2 * math.sqrt(max(p.size(0), p.size(1)))
# 解耦权重衰减 + 正交步长更新
if wd != 0.0:
p.mul_(1.0 - lr * wd)
p.add_(ortho, alpha=-lr * scale)
return loss
class Lion(Optimizer):
"""Lion 符号动量优化器。"""
def __init__(self, params, lr: float = 1e-4, betas: tuple[float, float] = (0.9, 0.99), weight_decay: float = 0.1):
defaults = dict(lr=lr, betas=betas, weight_decay=weight_decay)
super().__init__(params, defaults)
@torch.no_grad()
def step(self, closure=None):
loss = closure() if closure is not None else None
for group in self.param_groups:
lr, (beta1, beta2), wd = group["lr"], group["betas"], group["weight_decay"]
for p in group["params"]:
if p.grad is None:
continue
g = p.grad
state = self.state[p]
if "exp_avg" not in state:
state["exp_avg"] = torch.zeros_like(p)
m = state["exp_avg"]
# 解耦权重衰减
if wd != 0.0:
p.mul_(1.0 - lr * wd)
# 用 beta1 插值方向取符号更新权重
update = m.mul(beta1).add(g, alpha=1.0 - beta1).sign_()
p.add_(update, alpha=-lr)
# 用 beta2 更新持久动量
m.mul_(beta2).add_(g, alpha=1.0 - beta2)
return loss
if __name__ == "__main__":
torch.manual_seed(0)
# 验证 Newton-Schulz 正交化效果:奇异值应高度集中在 1 附近
W = torch.randn(64, 128, requires_grad=True)
opt = Muon([W], lr=1e-2)
loss = (W ** 2).mean()
loss.backward()
ortho_g = zeropower_via_newtonschulz5(W.grad)
sv = torch.linalg.svdvals(ortho_g)
print(f"正交化后奇异值范围: min={sv.min():.3f}, max={sv.max():.3f}, mean={sv.mean():.3f}")
opt.step()
print(f"Muon 单步更新后权重范数: {W.norm():.4f}")工程实践与常见陷阱
工程实践
- AdamW 大模型默认超参法则:主流 LLM(LLaMA-3、DeepSeek、Qwen)普遍将
从 PyTorch 默认的 0.999下调至0.95,并与 学习率调度与梯度裁剪 协同调节。这是因为大 Batch 下二阶矩需要更快遗忘旧的异常梯度尖峰,否则遇到 Loss Spike 后模型会长时间处于步长过小的“假死”状态。 - 权重衰减的参数分组隔离:严禁对 LayerNorm / RMSNorm 的缩放权重
、所有 Bias 项以及部分实现中的 Embedding 层施加权重衰减(设为 weight_decay=0.0),否则会破坏特征方差稳定机制并损害低频词表征。 - 分布式环境下的 Muon(ZeRO-1 适配):由于 Newton-Schulz 迭代需要完整的 2D 矩阵,若直接按扁平一维张量做 ZeRO / FSDP 切分将破坏矩阵维度。Moonlight(Kimi)工程实践表明,可按整块参数矩阵粒度分配给不同 DP Rank 各自独立执行正交化,再通过 All-Gather 同步更新后的权重,额外通信量几乎为零。
常见陷阱
- BF16 精度下优化器状态精度塌陷:在 混合精度训练 中,若将 AdamW 的
直接存为 BF16,极小的梯度平方 会直接下溢归零,导致分母退化为 而引发梯度爆炸。即便激活与梯度使用 BF16/FP8,优化器状态通常也应保持 FP32(或使用带随机舍入的 8-bit AdamW,如 bitsandbytes),显存吃紧时可结合 训练显存全景优化 中的 ZeRO-Offload 卸载至 CPU。 - 忽视
对大模型稳定性的影响:在深层 Transformer 中梯度范数可能非常小,若 过大(如 )会削弱自适应能力;若在 FP16 下过小(如 )则可能下溢。FP32 状态通常取 ,深层极大规模训练有时采用 配合 RMSNorm 防止分母主导更新。 - Muon 错用于 Embedding 或 QKV 拼接大矩阵:词嵌入层属于稀疏查表操作,对其整体正交化毫无几何意义;此外,对于将
拼接为一个大矩阵的实现,应当分别对 各自正交化,或注意拼接后的奇异值耦合影响。
延伸阅读与参考论文
- Loshchilov, I., & Hutter, F. (2019). Decoupled Weight Decay Regularization (AdamW). ICLR 2019. (arXiv:1711.05101 ↗)
- Shazeer, N., & Stern, M. (2018). Adafactor: Adaptive Learning Rates with Sublinear Memory Cost. ICML 2018. (arXiv:1804.04235 ↗)
- Chen, X., et al. (2023). Symbolic Discovery of Optimization Algorithms (Lion). NeurIPS 2023. (arXiv:2302.06675 ↗)
- Liu, H., et al. (2024). Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training. ICLR 2024. (arXiv:2305.14342 ↗)
- Jordan, K., et al. (2024). Muon: An optimizer for hidden layers in neural networks. Technical Blog. (Blog ↗)
- Liu, J., et al. (2025). Muon is Scalable for LLM Training (Moonlight / Kimi). (arXiv:2502.16982 ↗)