外观
概念定义 · 什么是数据并行(DDP)与 ZeRO / FSDP?
一块 GPU 算力有限、显存也装不下百亿参数的大模型,所以必须把成百上千张显卡连起来协同训练。数据并行(DDP) 是最直观的分工方式:每张卡各自放一份完整模型,但把一大批训练数据切分给不同卡同时算,算完后大家互相通信把梯度平均一下再同步更新。
但 DDP 每张卡都要重复存一整份模型、梯度和优化器状态,极度浪费显存;ZeRO(Stage 1/2/3)与 PyTorch FSDP 的绝招就是把这些原本重复存的状态切碎均摊到所有卡上,哪一层要算了再临时拼回来,用完立刻释放,让单卡显存占用直接降为原来的
01 问题从何而来:卡数翻了十倍,怎么还是装不下大模型?
训练百亿、千亿参数大模型,单张 GPU 跑完要几十年,最直觉的提速办法就是数据并行(Data Parallelism, DP):买 64 张卡,把一大批训练数据均分给 64 张卡各自算梯度,每步结束把 64 份梯度平均一下同步更新权重,速度蹭蹭往上涨。
可等你兴冲冲把一个 70B 参数模型塞进经典的 PyTorch DDP(DistributedDataParallel) 时,还没跑第一步就红屏报 CUDA Out of Memory!为什么?因为在 DDP 里,64 张 GPU 每一张都完整保存了一模一样的模型权重、梯度和 AdamW 优化器 状态。
算一笔惊人的账:在标准 混合精度训练 下,每个参数要占 16 字节(BF16 权重 2B + BF16 梯度 2B + FP32 主权重 4B + FP32 一阶动量 4B + FP32 二阶矩 4B)。70B 参数乘以 16 字节就是 1.12 TB!一张 H100 显存才 80 GB,哪怕你把集群扩到 1024 张卡,DDP 依然固执地在每张卡上硬塞 1.12 TB——这就是著名的 DDP 显存冗余悖论。
类比 · 八位大厨合编一本 1600 页的巨型菜谱
想象 8 位大厨(8 张 GPU)合作修订一本 1600 页的巨型菜谱(大模型):
- 传统 DDP:坚持让 8 位大厨每个人桌上都摆一套完整的 1600 页精装菜谱、草稿纸和厚厚的修订日志——8 张桌子瞬间被压塌,而且其中 7 份全是彻头彻尾的重复复印件!
- ZeRO / FSDP:把菜谱撕成 8 册,每位大厨平时桌上只留自己负责的 200 页。做菜做到第 3 章需要看全本时,大家把各自手里的碎片往桌中央一摊临时凑齐(All-Gather),用完立刻撤走只留桌面干净;写完修订批注后,只把属于第
位大厨那 200 页的批注汇总给他本人更新(Reduce-Scatter)。每张桌子瞬间腾出 8 倍空间,炒出来的菜却和原来分毫不差!
核心设问
如果把冗余的模型状态沿数据并行卡切分成
02 核心直觉与生活类比:Ring All-Reduce 与 ZeRO 三级瘦身
微软在 ZeRO (2020) ↗ 中发现了一个极其美妙的通信魔术:ZeRO Stage 1 和 Stage 2 砍掉了高达 87.5% 的显存冗余,却没多花哪怕 1 个字节的额外通信! 秘密藏在 DDP 原本就在用的 Ring All-Reduce 里。
类比 · 拆解 Ring All-Reduce:原来它天生就是“先分片汇总,再互相广播”!
传统 DDP 同步梯度时,并不是把所有梯度全寄给 0 号卡让它累死,而是让
- 第一步 Reduce-Scatter(归约散射):每张卡把梯度切成
段顺着圆环传 轮。跑完后,第 张卡手里刚好攥着第 段梯度的全局总和(通信量 ); - 第二步 All-Gather(全收集):大家把各自手里算好的全局总和再沿圆环广而告之
轮,让所有人重新集齐完整梯度(通信量 )。
总通信量是
ZeRO 团队看到这里拍案叫绝:既然第一步 Reduce-Scatter 跑完,第
顺着这条思路,ZeRO 分成了三级递进的瘦身手术:
- ZeRO-1(切优化器状态):把最肥的
(占总静态显存 75%)切给 张卡,零额外通信; - ZeRO-2(切优化器 + 梯度):反向传播边算梯度边做 Reduce-Scatter,非本卡梯度当场销毁,依然零额外通信;
- ZeRO-3 / PyTorch FSDP (2023) ↗:连最后的
模型权重也全切分!每层前向前临时 All-Gather 拼出完整权重,算完即焚;反向回到这一层时再 All-Gather 一次,算完梯度就 Reduce-Scatter。单卡总通信量从 涨到 (只多了 50%),换来的是静态显存彻底除以 ——70B 模型在 64 张卡上,单卡静态显存从 1120 GB 暴跌至区区 17.5 GB!
03 把关键公式读成人话
先牢记混合精度 + AdamW 的经典
**把三级 ZeRO 显存与通信账读成直觉:**有了
- ZeRO-1:
,通信 (把占四分之三的大肥肉切掉,免费白嫖); - ZeRO-2:
,通信 (连临时梯度也切掉,依然免费); - ZeRO-3 / FSDP:
,通信 (全切干净,靠“计算第 层时异步预取第 层权重”把多出来的 通信藏在计算背后)。
04 它在模型里怎么工作 & 与上下游的关系
在现代万卡集群的 3D/4D 混合并行版图里,数据并行(ZeRO / FSDP)永远是最外层的横向扩展底座:
- 向上承接优化器与精度体系:正是因为 混合精度训练 需要为 AdamW 优化器 保留 FP32 主权重与动量,才造就了
的巨无霸状态;而每步全局 Batch Size 扩展到多少卡划算,又直接受限于 学习率调度与临界批量。 - 与层内/层间并行组成多维集群:全网跑 ZeRO-3 跨机通信压力大时,工业界常用 HSDP(混合分片)——机内 8 卡高速 NVLink 跑 FSDP 全分片,机间慢速网络跑 DDP 梯度同步;或者更常见的组合是:机内跑 张量与序列并行 (TP/SP),跨机跑 流水线/专家并行 (PP/EP),最外层套一层零通信增量的 ZeRO-1 切分优化器状态。
- 交给显存优化管好动态激活:ZeRO-3 只消除了静态模型状态显存,反向传播缓存的动态激活不会因为数据并行变少,必须继续搭配 训练显存全景优化 中的梯度检查点与异步卸载。
05 演化对比与避坑备忘
| 策略 | 切分对象 | 单卡静态显存 | 70B @ 64 卡单卡显存 | 通信量 | 适用场景 |
|---|---|---|---|---|---|
| DDP | 无(全复制) | 1120 GB (OOM) | 单卡装得下的小模型 | ||
| ZeRO-1 | 优化器 ( | 293 GB | 搭配 TP/PP 的工业标配底座 | ||
| ZeRO-2 | 优化器 + 梯度 ( | 155 GB | 无额外通信的大幅瘦身 | ||
| ZeRO-3 / FSDP | 全状态 ( | 17.5 GB | 极简扩展超大模型,推荐新一代 FSDP2 (TorchTitan) ↗ | ||
| HSDP | 机内 FSDP + 机间 DDP | 140 GB (适合 7B–32B) | 极低跨机带宽 | 跨节点网络较慢的多机集群 |
落地 ZeRO / FSDP 时,三个最容易把吞吐砸穿或把集群卡死的坑:
- 微批次太小时,ZeRO-3 会变成“纯等网速”:如果你单卡只喂 1 条短句子,一层矩阵乘 0.2 毫秒就算完了,可网络拉取下一层权重需要 1 毫秒,GPU 80% 时间都在干等通信。要么增大单卡 Micro-batch,要么在显存有富余时把 FSDP 的
reshard_after_forward=False打开退回 ZeRO-2 省掉反向那次 All-Gather。 - 梯度累积忘了关中间同步:累积 8 个微批次才更新一次权重时,前 7 个微批次一定要用
no_sync()或set_requires_gradient_sync(False)关掉跨卡通信,攒到第 8 步再统一同步一次,通信量立省 8 倍。 - 条件分支或动态路由导致 FSDP 集体死锁:FSDP 要求进程组里每一张卡走过完全相同的模块包装顺序。如果代码里写了某个
if分支导致 0 号卡跳过了某个 FSDP 封装的子层,其余卡会永远傻等 0 号卡发起 All-Gather,直到半小时后报 NCCL Timeout 崩溃。
需要查阅 Ring All-Reduce 精确带宽推导、FSDP 前反向交互时序图以及可单机模拟的 ZeRO-3 与生产级
fully_shard(FSDP2) 代码?按快捷键M或点击顶部技术 Wiki随时切换。
当单张 GPU 的算力需要数十年才能完成万亿 Token 预训练时,数据并行(Data Parallelism, DP) 是最自然、最易扩展的第一维并行策略:将全局批次(Global Batch,参见 学习率调度与批量缩放)切分给
直观理解
假设有 8 位厨师(8 张 GPU)要合作抄写并修订一部 1600 页的巨型菜谱(大模型)。传统 DDP 要求每位厨师桌上都摆一套完整的 1600 页精装菜谱、草稿纸和修订日志,桌子瞬间被堆满;而 ZeRO / FSDP 则把菜谱拆成 8 册,每位厨师平时只保管自己负责的 200 页——做菜(前向/反向传播)需要用到某一章时,大家临时互相传阅一下(All-Gather),用完立刻收回桌面,修改完的批注再按页码汇总回对应负责人(Reduce-Scatter)。结果是每张桌子空出了近 8 倍空间,却能烹制出完全等价的大餐。
问题动机与演进背景
- DDP 的“显存冗余悖论”:在
卡 DDP 中,无论把卡数扩到 64 还是 1024 张,每张卡的静态模型状态显存恒定为 字节(以 70B 参数模型为例,仅静态状态就高达 ,远超单张 H100 的 80GB HBM 容量)。增加再多 GPU 也无法让单卡装下更大的模型。 - 模型并行的通信与代码侵入痛点:传统张量并行(TP)与流水线并行(PP)虽能切分参数,但 TP 对跨节点低速网络极其敏感(往往局限于单机 8 卡 NVLink 内),PP 则存在流水线气泡与复杂的代码侵入。
- ZeRO / FSDP 的突破:ZeRO 洞见到 DDP 中
份完全相同的模型状态是纯粹的冗余存储。通过将优化器状态(Stage 1)、梯度(Stage 2)乃至模型参数本身(Stage 3)沿数据并行组切分为 份,ZeRO 在保持数据并行极简编程范式的同时,实现了模型容量随 GPU 数量线性扩展。
核心原理与数学推导
1. DDP 与 Ring All-Reduce 精确通信量分析
在传统 DDP 中,每张 GPU 拥有全部参数
- 阶段一:Reduce-Scatter(归约散射) 将梯度张量逻辑划分为
个等长分片(每片含 个元素)。经过 轮环上传输与本地累加后,第 张卡持有第 个分片的全局求和结果。单卡发送与接收数据量均为: - 阶段二:All-Gather(全收集) 各卡将自己持有的完整求和分片沿环再传递
轮,最终所有卡均获得完整的全局平均梯度。单卡发送与接收数据量同样为:
因此,一次完整 Ring All-Reduce 的单卡总通信量(发送字节数,假设每元素为
令人惊叹的结论是:Ring All-Reduce 的单卡带宽耗时与集群规模
2. 混合精度静态显存的 字节拆解
设模型总参数量为
- BF16 模型权重(Parameters):
字节 - BF16 梯度(Gradients):
字节 - FP32 优化器状态(Optimizer States):共
字节,包含: - FP32 主权重副本(Master Weights):
字节 - FP32 一阶动量
: 字节 - FP32 二阶矩
: 字节
- FP32 主权重副本(Master Weights):
总计静态显存:
(若梯度累加缓冲区采用 FP32 存储,则梯度项变为
3. ZeRO Stage 1 / 2 / 3 精确显存与通信推导
ZeRO 按“优化器状态
- ZeRO Stage 1(
:切分优化器状态) - 仅切分
的优化器状态;每卡仍持有完整参数与梯度。 - 单卡静态显存:
- 通信机制:反向传播后执行 Reduce-Scatter(通信量
),每张卡仅更新自己分片对应的优化器与权重,随后执行 All-Gather 同步更新后的 BF16 权重(通信量 )。总通信量仍为 ,与 DDP 完全一致(零额外通信)!
- 仅切分
- ZeRO Stage 2(
:切分优化器状态 + 梯度) - 反向传播逐层计算出梯度后,立即执行 Reduce-Scatter 将本层梯度归约并仅保留归属本卡的
分片,其余分片即时释放。 - 单卡静态显存:
- 通信量:同样严格等于
(相对 DDP 仍无额外通信开销),当 时显存降至 DDP 的约 。
- 反向传播逐层计算出梯度后,立即执行 Reduce-Scatter 将本层梯度归约并仅保留归属本卡的
- ZeRO Stage 3(
:全分片)与 PyTorch FSDP - 连 BF16 模型参数本身也切分为
份,每张卡常态仅驻留 的全套状态。 - 单卡静态显存:
- 通信量推导:
- 前向传播到第
层前,通过 All-Gather 临时拼出该层完整参数(通信量 ),计算完立刻销毁非本卡分片; - 反向传播回到第
层前,需再次 All-Gather 拼出该层完整参数(通信量 ); - 算出本层梯度后,执行 Reduce-Scatter 聚合分片梯度并释放临时参数(通信量
); - 优化器在本地直接就地更新自己的
权重分片(无需像 ZeRO-1/2 那样步末再做一次 All-Gather)。 - 总通信量合计为
(比 DDP/ZeRO-1/2 多出 50% 的通信量)。
- 前向传播到第
- 连 BF16 模型参数本身也切分为
4. PyTorch FSDP / FSDP2 的核心工程机制
PyTorch FSDP(以及新一代基于 DTensor 的 FSDP2)在算法上等价于 ZeRO-3(亦可通过 SHARDING_STRATEGY=SHARD_GRAD_OP 退化为 ZeRO-2),并引入了若干关键工程特性:
- 模块级包装单位(FSDP Unit):通常以单个
TransformerBlock为通信粒度,通过独立 CUDA Stream 在计算第层时异步预取(Prefetch) 第 层的 All-Gather 参数,将多出的 50% 通信时间高度隐藏在计算延迟之后。 - 混合分片(HSDP, Hybrid Sharded Data Parallel):在多机集群中,仅在高速 NVLink 机内(如 8 卡)执行 ZeRO-3 / FSDP 全分片,而在较慢的跨机 InfiniBand 网络上执行标准 DDP 梯度同步(Replica Group),兼顾机内极致省显存与跨机低通信压力。
- FSDP2 逐参数分片(Per-Parameter Sharding):摒弃了 FSDP1 将多层权重拼接成巨型扁平
FlatParameter的做法,改用DTensor对每个参数张量沿第 0 维独立切分,原生无痛兼容torch.compile、混合权重精度以及 Tensor Parallelism(2D 并行)。
算法架构与数据流图
下图展示了 PyTorch FSDP / ZeRO-3 在单个 Transformer 层前向与反向传播中的“按需聚拢、用后即焚”动态显存与通信流:
图表加载中...
复杂度与横向对比
设参数量
| 策略 | 切分对象 | 单卡静态显存公式 | 70B @ 64 卡单卡静态显存 | 单步每卡通信量 | 通信相对 DDP 倍率 | 最佳适用场景 |
|---|---|---|---|---|---|---|
| DDP | 无(全复制) | 1120 GB (OOM) | 小模型(单卡轻松装下全套状态) | |||
| ZeRO-1 | 优化器状态 ( | 293.1 GB (OOM) | 配合 TP/PP 时的标准 DP 底座(零额外通信) | |||
| ZeRO-2 | 优化器 + 梯度 ( | 155.3 GB (OOM) | 中大型模型,无损显存大瘦身 | |||
| ZeRO-3 / FSDP | 优化器 + 梯度 + 参数 ( | 17.5 GB | 超大模型极简扩展,高速互联集群 | |||
| HSDP (8卡分片×8机复制) | 机内 ZeRO-3 + 机间 DDP | 140 GB(适合 7B–32B) | 机内 | 极低跨机带宽 | 跨机带宽受限的多节点训练集群 |
核心 PyTorch 参考实现
下面提供两段代码:第一段从零演示 FSDP / ZeRO-3 单层前向-反向分片通信逻辑(单进程模拟多 Rank 理解底层原理),第二段展示生产级 PyTorch FSDP2 (fully_shard) 标准配置用法:
python
import torch
import torch.nn as nn
def simulate_zero3_fsdp_step(num_ranks: int = 4, d_in: int = 64, d_out: int = 64):
"""在单机 CPU 上精确模拟 ZeRO-3 / FSDP 的 All-Gather 与 Reduce-Scatter 流程。"""
torch.manual_seed(0)
assert d_out % num_ranks == 0
shard_rows = d_out // num_ranks
# 1. 初始化每个 Rank 仅持有的 1/N 权重分片 (BF16 存储) 与 FP32 Master 分片
master_shards = [torch.randn(shard_rows, d_in, dtype=torch.float32) * 0.02 for _ in range(num_ranks)]
inputs = [torch.randn(8, d_in) for _ in range(num_ranks)] # 每个 Rank 不同的微批次数据
# === 前向传播:All-Gather 临时拼装完整权重 -> 计算 -> 释放 ===
full_w_fwd = torch.cat([s.to(torch.bfloat16).float() for s in master_shards], dim=0) # [d_out, d_in]
outputs = [x @ full_w_fwd.T for x in inputs] # [B, d_out]
del full_w_fwd # 模拟用完即焚,仅保留输入激活用于反向
# === 反向传播:再次 All-Gather 完整权重 -> 计算局部梯度 ===
full_w_bwd = torch.cat([s.to(torch.bfloat16).float() for s in master_shards], dim=0)
local_grads = []
for r in range(num_ranks):
# 假设上游梯度 dY = 2 * Y / numel (MSE to 0)
dY = 2.0 * outputs[r] / outputs[r].numel() # [B, d_out]
dX = dY @ full_w_bwd # [B, d_in] (传给上一层)
dW = dY.T @ inputs[r] # [d_out, d_in]
local_grads.append(dW)
del full_w_bwd
# === Reduce-Scatter:各 Rank 仅聚合属于自己那 1/N 行的平均梯度 ===
avg_full_grad = torch.stack(local_grads, dim=0).mean(dim=0)
grad_shards = list(avg_full_grad.chunk(num_ranks, dim=0)) # 每片 [shard_rows, d_in]
del local_grads, avg_full_grad
# === 本地优化器更新:各 Rank 独立更新自己的 Master Shard (零通信) ===
lr = 1e-2
for r in range(num_ranks):
master_shards[r] -= lr * grad_shards[r]
print(f"FSDP 模拟完成 | 每卡常驻参数量: {master_shards[0].numel()} / 总参数量: {d_in * d_out}")
# === 生产环境 PyTorch 2.4+ FSDP2 (fully_shard) 范例 ===
def wrap_model_with_fsdp2(model: nn.Module) -> nn.Module:
"""使用 PyTorch 原生 FSDP2 对 Transformer 各层执行 DTensor 逐参数全分片。"""
from torch.distributed._composable.fsdp import MixedPrecisionPolicy, fully_shard
mp_policy = MixedPrecisionPolicy(
param_dtype=torch.bfloat16, # 前向/反向 All-Gather 使用 BF16
reduce_dtype=torch.float32, # Reduce-Scatter 梯度归约保持 FP32 防精度损失
)
# 先对每个 TransformerBlock 单独封装,确保层间通信与计算可异步重叠
for block in model.layers:
fully_shard(block, mp_policy=mp_policy, reshard_after_forward=True)
# 最后封装根模块(处理 Embedding 与 Output Head)
fully_shard(model, mp_policy=mp_policy, reshard_after_forward=True)
return model
if __name__ == "__main__":
simulate_zero3_fsdp_step()工程实践与常见陷阱
工程实践
- 梯度累积时的通信消除(
no_sync/ 保留梯度分片):在 DDP 或 ZeRO-2 中执行多步梯度累积时,前个微批次应禁用跨卡同步(DDP 使用 model.no_sync()上下文,FSDP2 使用model.set_requires_gradient_sync(False)),仅在最后一个微批次触发一次全局 Reduce-Scatter,可直接将通信开销缩减倍。 - 调优
reshard_after_forward实现 ZeRO-2/3 动态折中:在 PyTorch FSDP 中,若显存尚有余量且跨节点带宽成为瓶颈,可将部分层的reshard_after_forward设为False(前向后暂不释放完整权重,省去反向时的第二次 All-Gather),通信量立即从降回 。 - 合理设置 Bucket 大小以填满 NIC 带宽:高频发射大量几 KB 级的小张量通信(如 LayerNorm 偏置)会严重受限于网络启动延迟(Latency-bound)。DDP 通过
bucket_cap_mb(通常 25–100 MB)合并通信,FSDP 则应严格按TransformerBlock粒度封装,切忌对每个独立nn.Linear细碎包裹。
常见陷阱
- ZeRO-3 / FSDP 下的小 Batch 算力饥饿(Communication-bound):当单卡微批次过小(如序列短、Micro-batch=1)时,单层矩阵乘法的计算时间极短,不足以掩盖 All-Gather 权重传输耗时,GPU 利用率(MFU)会断崖式暴跌。此时需增大单卡 Micro-batch、改用 HSDP,或采用 ZeRO-1 + TP/SP/PP 混合并行,并配合 训练显存全景优化 扩大单卡批次。
- 忽视 Reduce-Scatter 的精度设置:若将 FSDP 的
reduce_dtype设为 BF16 且在数百张卡上归约,累加舍入误差会导致大集群训练收敛变差甚至出现 Loss 震荡。生产训练建议保持param_dtype=torch.bfloat16与reduce_dtype=torch.float32。 - 动态控制流导致 FSDP 集合通信死锁:在 MoE 或条件分支网络中,如果某些 Rank 未走入某个 FSDP 封装的子模块前向传播,就会少触发一次
All-Gather,导致整个分布式进程组永久挂起(NCCL Timeout)。必须保证所有 Rank 经过完全一致的 FSDP 包装模块顺序。
延伸阅读与参考论文
- Patarasuk, P., & Yuan, X. (2009). Bandwidth Optimal All-reduce Algorithms for Clusters of Workstations (Ring All-Reduce 理论基础). JPDC. (DOI ↗)
- Rajbhandari, S., et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. SC20. (arXiv:1910.02054 ↗)
- Li, S., et al. (2020). PyTorch Distributed: Experiences on Accelerating Data Parallel Training. VLDB 2020. (arXiv:2006.15704 ↗)
- Zhao, Y., et al. (2023). PyTorch FSDP: Experiences on Scaling Fully Sharded Data Parallel. VLDB 2023. (arXiv:2304.11277 ↗)
- Liang, W., et al. (2024). TorchTitan: One-stop PyTorch Native Solution for Production Ready LLM Pre-training (FSDP2 架构解析). (arXiv:2410.06511 ↗)