外观
概念定义 · 什么是 μP(最大更新参数化)?
训练千亿大模型时最头疼的一件事是:在小模型上费劲调好的学习率和初始化参数,一旦把模型宽度放大 10 倍,直接照搬就会训练发散或效果变差。
μP(Maximal Update Parameterization) 是一套数学推导出的“缩放规则”:它精确规定了当模型变宽时,不同层的初始权重方差和学习率分别该按什么比例缩放,从而实现 “在几千万参数的小模型上调好超参,零改动直接迁移到百亿大模型依然最优”。
01 问题从何而来:为什么小模型调好的学习率,搬到大模型就立刻炸掉?
按照 Scaling Laws,大模型越做越宽、越做越深,效果才会不断突破上限。可工程师们很快撞上一堵天价高墙:调超参太贵了! 跑一次 70B 预训练要烧掉数百万美元,根本不可能像做小实验那样同时开几十组学习率、初始化方差做网格搜索。
那能不能先在一个便宜的 40M 迷你模型上把最优学习率调出来,再直接原封不动抄给 70B 大模型呢?在传统 PyTorch 默认的标准参数化(SP) 下,答案是残酷的“不行”——你在 40M 模型上跑得最顺滑的学习率(比如 1e-3),直接塞进 70B 模型里,Loss 大概率前几百步就炸成 NaN;逼得工程师每放大一次模型,就得凭经验“盲猜”着把学习率往下砍。
类比 · 10 人小队扩编成 1000 人军团推巨石
想象你在训练一支施工队合力推动一块巨石,模型宽度
- 标准参数化(SP):10 人小队试出“每人使出 3 分力”推得最稳。等你把队伍扩编成 1000 人,还按老习惯喊“每人 3 分力”!结果 1000 人朝同一个方向合力一推,巨石瞬间冲出工地飞进沟里(特征爆炸)!
- 传统核理论极限(NTK):为了绝对不炸,有人把每个人的力气缩得太狠。结果 1000 人看似站得很稳,实则每人只是轻轻摸了一下石头,巨石纹丝不动——神经网络彻底丧失了特征学习能力!
(最大更新参数化):一套精密的力学配比手册。它分别给入口、中段和出口三类岗位定好随人数 精确缩放的发力规则,确保不管队伍是 10 人还是 1000 人,每喊一次口令,巨石恰好往前挪动同样最完美的 1 米!
核心设问
明明初始化时已经除以了
02 核心直觉:初始化“互相抵消”,更新后“同向齐推”
Yang 等人(2022)↗ 在 Tensor Programs V 里一针见血地指出了标准参数化失效的数学元凶——训练第 0 步和第 1 步,遵守的是两套完全不同的统计学规律!
类比 · 乱步散步 vs. 齐步正步走
这就是为什么在 AdamW 下,隐藏层权重只要宽度翻 10 倍,同样学习率引起的激活跳变就直接放大 10 倍。为了让每个神经元在任意宽度
- 输入层(Embedding、Norm、Bias):只接固定维度的外部输入,不随宽度
累加爆炸,因此初始化方差和学习率保持不变( )。 - 隐藏层(Attention 的
与 FFN 矩阵):初始化标准差按 缩小,且在 AdamW 下学习率必须精准缩小为 ,恰好抵消 路同向累加! - 输出层(
lm_head词表预测头):它是把维特征汇集成词表 Logits 的总出口,最怕随宽度爆炸。 要求把输出头初始化为 (或缩小 ),并给输出端乘上 缩放因子,同时学习率也除以 。 - Transformer 额外小补丁:把 自注意力 里的缩放因子从
改成 ——因为训练起来以后 和 也会变成“齐步正步走”,点积量级是 而不是 !
03 把关键公式读成人话
把上述物理直觉浓缩成一行最核心的渐近公式(以 AdamW 更新一步后的隐藏层特征变化
**把公式读成直觉:**这组对比式简直像魔术解密一样透彻:
- 左边管开局:随机权重正负抵消,只放大
倍,所以取初始标准差 ,就能让开局激活 稳在 。 - 右边管学习:AdamW 每步给每个参数迈出的步子大约是
,由于梯度和输入同向对齐,累加时放大整整 倍!所以只有令 ,才能让每次更新给特征带来的真实变化量 死死钉在 ——不随模型变宽而爆炸,也不随模型变宽而萎缩!
至于输出层(lm_head)与 自注意力 的缩放规则,同样一脉相承:
**为什么连 lm_head 和注意力分母都要改?:**因为 lm_head 吃进来的是
至于怎么检查自己写的代码有没有把某条分支漏缩放了?作者发明了一套超级好用的体检工具——Coordinate Check:造 4 个宽度翻倍的迷你模型(比如宽 128、256、512、1024),套同一套超参各跑 5 步,画每层激活值的平均大小曲线:
类比 · 体检心电图:Coordinate Check
怎么检查自己写的代码有没有把某条分支漏缩放了?作者发明了一套超级好用的自动化体检协议——Coordinate Check。具体做法只有三步:
- 造 4 个宽度逐级翻倍的迷你模型(比如宽度 128、256、512、1024);
- 用完全相同的一套基础超参各跑 5 步训练;
- 画出每一层激活值的平均绝对大小
随宽度 变化的曲线。
如果 lm_head 除以
04 它在模型里怎么工作 & 与上下游的关系
有了
类比 · 缩比风洞模型 → 零试错直飞真机
飞机制造商不会先造 50 架波音 747 逐架摔机试错,而是先在风洞里造一架 1:20 的缩比模型把气动参数测透,再按雷诺数相似律直接放大到真机。
- 第一步(建风洞):在 40M~100M 的代理小模型上,花极低算力把最优基础学习率
、初始化标准差、词嵌入缩放系数全部网格搜索透彻; - 第二步(零样本映射):按宽度倍率
套用输入/隐藏/输出三规则,直接映射到 7B 甚至 70B 大模型一键启动预训练,连“最优学习率峰值所在的横坐标位置”都能分毫不差地对齐!
在工业界,Cerebras-GPT(2023)↗ 率先用它开源了全尺寸缩放家族;面壁智能的 MiniCPM(2024)↗ 更是将
05 演化对比与避坑备忘
| 参数化方式 | 隐藏层初始化 | 隐藏层 LR (AdamW) | 单步特征变化 | 小模型调参能否直接迁移? |
|---|---|---|---|---|
| 标准参数化 (SP) | 固定不变 | 随宽度 | 不能(越宽越要人工砍 LR) | |
| NTK 参数化 | 固定不变 | 趋近 | 丧失深度特征学习 | |
| 固定不变(输出缩 | 恒定 | 支持零样本迁移 | ||
| 恒定 | 零样本完美迁移 |
四个实战中最容易踩的坑:
- 词表输入和输出共享权重(Weight Tying)会打架:
要求 Embedding 的学习率不缩放,而 lm_head的学习率要除以,共享同一个矩阵就会左右互搏!解法是把共享权重按输入类对待(不缩学习率),但在 lm_head输出结果时显式除以。 - AdamW 的权重衰减(Weight Decay)被暗中缩小了:标准 AdamW 每次衰减权重
。你把隐藏层 除以 后,衰减力度也悄悄缩水了 倍!实战中通常把隐藏层的 weight_decay乘回(即独立权重衰减),否则大模型欠正则化。 - 只按宽度套
,却把层数翻了 4 倍:经典 管的是宽度 ;如果把 12 层一口气拉到 64 层,记得加上 Depth- 的残差分支 缩放,否则深层残差方差依旧会悄悄漂移。 - 把 Batch Size 翻了十倍却指望纯
全自动兜底: 保证的是跨宽度的动力学不变性;若从百万小模型放大到万亿 Token 训练时大幅拉升全局批大小,仍需配合批大小缩放规律与 优化器 超参微调。
想查看
在 SGD 与 AdamW 下的完整数学推导表、Weight Tying 缩放细节,以及自带 Coordinate Check实测对比 SP 与的完整 PyTorch 代码?按快捷键 M或点击顶部技术 Wiki随时切换。
随着大语言模型沿着 Scaling Laws 扩展到百亿乃至万亿参数,单次全量预训练的算力账单动辄数百万美元,传统在目标尺寸上直接执行网格搜索的调参范式已彻底破产。然而,在标准的 PyTorch 参数化设置下,在一个
直观理解
可以把扩大神经网络宽度想象成把一支 10 人施工队扩编成 1000 人施工队共同推一块巨石。在标准参数化(SP) 下,如果还给每个新加入的工人发和原来一样大的推动指令(固定学习率),1000 人朝同一个梯度方向合力一推,巨石瞬间飞出工地(特征爆炸);而如果按人数盲目把指令缩得过小(NTK 参数化),工人几乎原地不动(丧失特征学习)。
起源背景与演进脉络
神经网络的无限宽极限理论最早由 NTK(Neural Tangent Kernel, Jacot et al., 2018) 开启。研究者发现,当采用经典 Xavier / LeCun 初始化并固定较小学习率让宽度
另一方面,工业界实际使用的标准参数化(Standard Parameterization, SP) 在结合 AdamW 等自适应优化器 时,随着宽度
2021 至 2022 年,微软研究院的 Greg Yang 等人通过 Tensor Programs 数学框架给出了决定性突破:
- Tensor Programs IV(2021):严格分类了所有可能的参数化极限,证明在稳定前提下存在唯一能令所有隐藏层都实现最大程度特征学习的极限——
; - Tensor Programs V(2022):将理论转化为可落地的工程协议(
mup库与 Coordinate Check),首次在 6.7B GPT-3 级模型上验证了仅用 40M 代理模型搜参并零样本迁移即可超越原始人工精调结果; - 工业普及与深度拓展(2023–2025):Cerebras-GPT、MiniCPM(面壁智能引入可调尺度因子将
推广至更易工程化的版本)以及 Tensor Programs VI(Depth- ) 进一步解决了同时扩展宽度与深度的超参迁移难题。
核心原理与数学推导
1. 大数定律与相关性累加:SP 随宽度失效的根源
考虑一个宽为
为保证初始激活
关键转折发生在第一步 反向传播 与参数更新之后:设经过一步优化器更新后权重变为
在 AdamW 优化器下,参数更新步长由一阶矩与二阶矩之比归一化,几乎与梯度绝对大小无关,满足
这就彻底解释了 SP 的顽疾:模型越宽,相同学习率引起的特征跳变越剧烈,不大幅缩减学习率就会立刻梯度爆炸!反之,若像 NTK 那样把更新压得过小使
2. 的核心判据与三类参数缩放规则
- 稳定性(Stability):初始激活、初始输出 Logits 与所有中间特征在训练全程保持
,不爆炸、不消失; - 最大特征学习(Maximal Feature Learning):每一步参数更新引起的隐藏层特征变化量严格保持
,且对所有隐藏层成立。
将 Transformer 中的所有权重划分为三类:输入类(Input-like)(维度 lm_head 分类头)。记宽度缩放倍率为
- 输入类权重:扇入维度
固定,因此初始化标准差 ;更新后 求和项数为常量 ,故 AdamW 学习率保持 。 - 隐藏类权重:扇入为
,初始保证 需 ;更新后 ,为令 ,AdamW 学习率必须按 精确缩放! - 输出类权重(
lm_head):扇入为而扇出 固定。为防止输出 Logits 在第一步更新后按 爆炸,同时防止初始输出随 发散, 要求在 AdamW 下取初始化标准差 (或直接全零初始化),且学习率取 ;等价地,工程上常保持常规初始化并给 lm_head输出显式乘以缩放系数。
3. Transformer 专属修补:注意力缩放改为
在标准 自注意力 中,点积缩放因子为
(若固定头维度
4. Coordinate Check 诊断协议
由于现代大模型混杂了残差缩放、RoPE、SwiGLU 与权重衰减等组件,人工推导极易遗漏缩放因子。Yang 等人提出自动化单元测试 Coordinate Check:构造宽度呈几何增长的一组代理模型(如
算法架构与工作流图
图表加载中...
参数化范式横向对比表
以宽度
| 参数化范式 | 隐藏层初始化 | 输出层初始化 | 隐藏层学习率 | 输出层学习率 | 特征变化量 | 跨宽度超参迁移 |
|---|---|---|---|---|---|---|
| SP + SGD | 发散或退化 | 否(需重调) | ||||
| SP + AdamW | 否(大宽必缩 LR) | |||||
| NTK + SGD | 仅核态,无特征学习 | |||||
| 支持零样本迁移 | ||||||
| 支持零样本迁移 |
核心 PyTorch 参考实现
下面给出一个完整的纯 PyTorch 教学实现,包含支持
python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F
class MuPReadout(nn.Linear):
"""μP 输出层:施加 1 / width_mult 缩放防止 Logits 随宽度爆炸"""
def __init__(self, in_features: int, out_features: int, width_mult: float):
super().__init__(in_features, out_features, bias=False)
self.width_mult = width_mult
def forward(self, x: torch.Tensor) -> torch.Tensor:
return F.linear(x, self.weight) / self.width_mult
class MiniMuPLM(nn.Module):
def __init__(self, vocab_size: int, width: int, base_width: int = 128,
n_heads: int = 4, init_std: float = 0.02, use_mup: bool = True):
super().__init__()
self.use_mup, self.width, self.n_heads = use_mup, width, n_heads
self.width_mult = width / base_width if use_mup else 1.0
self.head_dim = width // n_heads
self.emb = nn.Embedding(vocab_size, width)
self.w_qkv = nn.Linear(width, 3 * width, bias=False)
self.w_o = nn.Linear(width, width, bias=False)
self.ffn_in = nn.Linear(width, 4 * width, bias=False)
self.ffn_out = nn.Linear(4 * width, width, bias=False)
self.lm_head = MuPReadout(width, vocab_size, self.width_mult)
nn.init.normal_(self.emb.weight, 0.0, init_std) # 输入层:Θ(1)
hid_std = init_std / math.sqrt(self.width_mult) # 隐藏层:Θ(n^{-1/2})
for mod in (self.w_qkv, self.w_o, self.ffn_in, self.ffn_out):
nn.init.normal_(mod.weight, 0.0, hid_std)
nn.init.zeros_(self.lm_head.weight) if use_mup else nn.init.normal_(self.lm_head.weight, 0.0, init_std)
def forward(self, idx: torch.Tensor):
B, T = idx.shape
h = self.emb(idx)
q, k, v = [t.view(B, T, self.n_heads, self.head_dim).transpose(1, 2)
for t in self.w_qkv(h).chunk(3, dim=-1)]
scale = (8.0 / self.head_dim) if self.use_mup else (1.0 / math.sqrt(self.head_dim))
scores = torch.matmul(q, k.transpose(-2, -1)) * scale
mask = torch.triu(torch.ones(T, T, device=idx.device, dtype=torch.bool), diagonal=1)
attn = torch.matmul(F.softmax(scores.masked_fill(mask, float("-inf")), dim=-1), v)
h = h + self.w_o(attn.transpose(1, 2).contiguous().view(B, T, self.width))
return self.lm_head(h + self.ffn_out(F.gelu(self.ffn_in(h)))), h
def build_mup_adamw(model: MiniMuPLM, base_lr: float = 3e-3, wd: float = 0.01):
"""μP-AdamW 分组:输入类保持 base_lr,隐藏/输出类按 width_mult 反比缩放"""
hid = [model.w_qkv.weight, model.w_o.weight, model.ffn_in.weight,
model.ffn_out.weight, model.lm_head.weight]
return torch.optim.AdamW([
{"params": [model.emb.weight], "lr": base_lr, "weight_decay": 0.0},
{"params": hid, "lr": base_lr / model.width_mult, "weight_decay": wd * model.width_mult},
])
def coordinate_check(use_mup: bool):
torch.manual_seed(0)
x, y = torch.randint(0, 256, (4, 16)), torch.randint(0, 256, (4, 16))
for w in (128, 256, 512, 1024):
model = MiniMuPLM(256, width=w, base_width=128, use_mup=use_mup)
opt = build_mup_adamw(model)
for _ in range(5):
logits, _ = model(x)
opt.zero_grad(); F.cross_entropy(logits.view(-1, 256), y.view(-1)).backward(); opt.step()
with torch.no_grad():
logits, h = model(x)
print(f"mup={use_mup} w={w:4d} | mean|h|={h.abs().mean():.4f} | mean|logits|={logits.abs().mean():.4f}")工程实践与常见陷阱
工程实践
- MiniCPM 风格的可调乘数变体:原生
虽然保证跨宽度迁移,但当目标模型与代理模型跨度极大时,Embedding 输出乘数 scale_emb与残差分支缩放因子(Depth- )显著影响收敛下限。MiniCPM 在代理模型上联合搜索 scale_emb、scale_depth和base_lr,以极低预算实现了媲美大厂重金调参的收敛曲线。 - 解耦 Weight Decay 的隐性缩放:在 PyTorch 标准
AdamW中,每步权重衰减量写作。由于 将隐藏层学习率缩为了 ,如果保持 weight_decay不变,隐藏层每步实际衰减比例也被隐性缩小了 倍!因此工业实践中通常保持独立权重衰减(Independent Weight Decay),即给隐藏层配置 ,确保跨宽度正则化强度一致。 - 上线前必跑 Coordinate Check:任何架构微调(例如加入 QK-Norm、MoE 路由器或切换 SwiGLU)都可能破坏某条通路的
缩放;只需在单张消费级 GPU 上花 2 分钟跑通 4 个宽度的 Coordinate Check,就能提前拦截 90% 以上的参数化实现缺陷。
常见陷阱
- 词嵌入与输出层权重共享(Weight Tying)冲突:
要求输入 Embedding 学习率为 、输出 lm_head学习率为,二者缩放律天然矛盾!如果模型强行共享 Embedding 与 lm_head权重,必须将权重归为输入类(),并显式在 lm_head前向输出端乘以(或 ) 来弥补梯度与激活尺度差,否则大宽度下必然训崩。 - 同时拉深层数却忽略 Depth-
:经典 Tensor Programs V 只保证跨宽度零样本迁移;当深度 从 12 层暴增到 80 层时,Pre-Norm 残差流方差会随 线性累积。此时需结合 Tensor Programs VI,给每个残差分支乘以 (或 )并同步调整深层缩放,才能实现宽度与深度的联合迁移。 - 忽略 Batch Size 与训练 Token 数的耦合:
保证的是固定数据分布与相对训练步数下的宽度迁移;若从小模型放大到万亿 Token 长程预训练时大幅提高全局 Batch Size,仍需配合批大小缩放规律与 学习率调度(如 WSD 调度)微调峰值比例。
延伸阅读与参考论文
- 特征学习极限理论奠基:Yang & Hu, Tensor Programs IV: Feature Learning in Infinite-Width Neural Networks, ICML 2021 (arXiv:2011.14522 ↗).
零样本超参迁移核心论文:Yang et al., Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer, NeurIPS 2022 (arXiv:2203.03466 ↗). - 无限深度扩展(Depth-
):Yang et al., Tensor Programs VI: Feature Learning in Infinite-Depth Neural Networks, ICLR 2024 (arXiv:2310.02244 ↗). - 工业界大规模实践验证:Dey et al., Cerebras-GPT: Open Compute-Optimal Language Models Trained on the Cerebras Wafer-Scale Cluster, 2023 (arXiv:2304.03208 ↗); Hu et al., MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies, 2024 (arXiv:2404.06395 ↗).
- 不同参数化与优化器缩放律系统评估:Everett et al., Scaling Exponents Across Parameterizations and Optimizers, ICML 2024 (arXiv:2407.05872 ↗).