外观
概念定义 · 什么是流水线并行(PP)与专家并行(EP)?
如果把 80 层大模型想象成一条 80 道工序的汽车装配线:流水线并行(PP) 就是按层数切段——1 号机负责第 1–20 层、2 号机负责 21–40 层,把一个大 Batch 拆成很多微批次(Micro-batch)像工厂流水线一样陆续送进去,再通过 1F1B / DualPipe 调度尽量消灭机器干等发呆的“流水线气泡”。
专家并行(EP) 则是专门为 MoE 模型设计的分工方式:把 256 个专家分散放到不同显卡上,每步推理通过 All-to-All 通信 把每个词精准快递给它选中的专家卡算完再寄回。
01 问题从何而来:跨出单机 8 卡,怎么把百层巨无霸和 256 个专家铺满万卡集群?
在单机 8 卡内部,张量与序列并行 (TP/SP) 靠着每秒 900 GB 的 NVLink 如鱼得水。可一旦模型深达 80–128 层、参数冲上数千亿(比如 DeepSeek-V3 的 671B 稀疏 MoE 混合专家),单机 8 卡远远不够,你必须跨越几十上百台服务器。这时候机间 InfiniBand 网络带宽只有机内 NVLink 的十几分之一,再跨机拉 TP 会瞬间堵死。
于是,跨节点扩展的两大王牌登场了:
- 流水线并行(Pipeline Parallelism, PP):按网络深度横着切——把 80 层切成 8 段,每台机器扛 10 层,相邻机器之间只需要在段边界上点对点(P2P)传递一份激活张量,通信量比 TP 低一个数量级;
- 专家并行(Expert Parallelism, EP):专治 MoE 巨型模型——把 256 个专家分散驻留到 64 张卡上,每张卡只装 4 个专家,遇到哪个 Token 该找哪位专家,就通过全互联 All-to-All 精准空投过去算完再送回来。
类比 · 汽车流水线工厂与大型三甲医院分诊网
- 流水线并行(PP) 就像一家 4 工位的汽车装配厂:1 号工位装底盘,2 号装发动机,3 号装车身,4 号喷漆。如果一整批订单当成一辆巨型卡车放进去,同一时刻总有 3 个工位在干瞪眼发呆——这就是流水线的天敌 气泡(Bubble)!把大订单拆成
辆小车(Micro-batches)接连开进流水线,就能让 4 个工位齐头并进。 - 专家并行(EP) 则像一座覆盖全国的大型专科医院网络:心内科在 0 号卡、骨科在 1 号卡、神经科在 2 号卡。每位病人(Token)先经过本地分诊台(Router)挂号,再坐高铁专线(All-to-All Dispatch)飞去对应科室看诊,看完病拿着处方坐原路专线(All-to-All Combine)回到本地汇总!
核心设问
即便拆成了微批次,流水线开头预热和结尾排空时总有一堆工位空转——真的存在数学意义上的“零气泡流水线”吗?面对 256 个专家跨 64 张卡的疯狂 All-to-All 互发,DeepSeek-V3 又是怎么用 DualPipe 把几乎 100% 的跨节点通信开销变魔术般藏起来的?
02 核心直觉与生活类比:从 1F1B 到 Zero-Bubble 与 DualPipe 双向发车
流水线并行十年的演进史,就是一部工程师对着排班表抠掉每一毫秒空闲气泡的血泪史:
- GPipe(arXiv ↗):先把全部
辆车的前向一口气做完,再统一做反向。气泡大不说,1 号工位停车场里得同时堆满全部 辆车的半成品(激活显存直接爆仓); - 1F1B(一前一后):稳态时每做完 1 次前向立刻做 1 次反向,立刻把用完的激活扔掉!气泡率没变,但停车场峰值从
辆骤降到只需停 辆; - Interleaved 1F1B(arXiv ↗):让每台机器轮流兼职
个更薄的虚拟工位,气泡直接缩成原来的 。
而真正实现思想跃迁的,是 Zero-Bubble 与 DualPipe 这两记神来之笔:
类比 · Zero-Bubble:原来反向传播可以掰成“催命的 $B_x$”和“不急的 $W$”!
过去大家一直把反向传播
- 对输入求导
( ):上游工位正急着等它才能继续往下反向传播,是火烧眉毛的关键路径; - 对权重求导
( ):纯属本工位自己算自家账本,下游和上游根本没人等它!
只要把
类比 · DualPipe + 节点受限路由:厂房左右门“相向发车”,通信计算两不误!
到了千亿级 MoE,单靠消气泡还不够——跨节点 All-to-All 通信动辄吃掉一半时间。DeepSeek-V3 (2024) ↗ 发明了 DualPipe 双向对称流水线:不再只从工厂左门往右发车,而是同时从左门和右门相向发车!
这样在稳态时,每个工位上永远配对绑着一趟向右的前向车
再加上 Node-Limited Routing(节点受限路由):强制规定每个 Token 选的 Top-8 专家最多只能散落在 4 台物理服务器里。如果同一个 Token 命中了某台远方服务器里的 2 个专家,跨机慢速 IB 网线只发 1 份拷贝过去,进了那台服务器再通过极速机内 NVLink 分给两位专家——跨机通信量直接腰斩再藏进 DualPipe 重叠里,最终在 2048 张 H800 上跑出了近乎零通信开销的奇迹!
03 把关键公式读成人话
先看衡量所有传统流水线效率的黄金标尺——GPipe / 1F1B 气泡率公式:
把气泡率公式读成直觉:-
是把一个全局大 Batch 切成了多少个微批次(小车数量); - 开头预热和结尾排空永远浪费掉
个节拍的空闲时间。一眼就能看出铁律:微批次数 必须远大于阶段数 !如果 ,气泡率高达 (近一半 GPU 在发呆);只有把 拉到至少 ,气泡率才会压到 以下。
再看 Interleaved 1F1B 与 DualPipe 的压气泡威力:
**把进阶气泡公式读成直觉:**Interleaved 靠虚拟切块数
04 它在模型里怎么工作 & 与上下游的关系
PP 与 EP 是撑起万卡级超大规模 MoE 集群的跨节点大动脉:
- 直接服务稀疏 MoE 架构:正是 混合专家 MoE 的 Top-
条件路由机制,让传统权重切分不再够用,催生了 EP 的 Dispatch/Combine 动态路由范式和无 Token 丢弃的 Grouped GEMM(MegaBlocks ↗)。 - 与 TP/DP 拼出 4D/5D 集群拓扑:典型千亿 MoE 集群采用机内跑 TP/SP 或机内 EP、跨机跑 PP 与跨机 EP、最外层套 ZeRO-1 数据并行 的立体映射,把高频大流量死锁在机内 NVLink,把轻量 P2P 和受限 All-to-All 放在跨机 IB 网络上。
- 与显存管理高度联动:流水线里同时“在途”的微批次数量(1F1B 为
份、ZB-H2 约 份)直接决定了首阶段的激活显存峰值,必须与 训练显存全景优化 中的选择性重计算协同平衡。
05 演化对比与避坑备忘
| 流水线策略 | 气泡率 | 峰值在途激活数 | 权重显存 | 一句话定位 |
|---|---|---|---|---|
| GPipe | 教学级最简原型,工业界已淘汰 | |||
| 1F1B | 最稳健的工业基线,大幅省激活 | |||
| Interleaved 1F1B | 略高于 | 用 | ||
| Zero-Bubble (ZB-H2) | 拆分 | |||
| DualPipe | 双向发车,100% 隐藏 MoE All-to-All 通信 |
跨节点跑 PP 和 EP 时,最容易踩爆集群的三个实战坑:
- 首尾 Stage 平均分摊层数,结果整条流水线被首尾卡死:第 0 个 Stage 背着巨大的词嵌入表,最后一个 Stage 背着巨大的词表输出头、交叉熵甚至 MTP 模块,计算和显存都比普通层重得多。工程上必须给首尾 Stage 少排 1–2 个 Transformer 层,整条产线的节拍才能真正对齐。
- 还留着 Embedding 和 LM Head 权重绑定(Weight Tying):如果首尾两个 Stage 共享同一份权重,每一步反向传播结束都得跨越几十台机器专门跑一次首尾梯度 All-Reduce 同步。现代超大模型(LLaMA-3、DeepSeek-V3)果断解除首尾绑定,既扩容又解耦。
- MoE 专家负载倾斜导致“一卡干活、七卡围观”:即便加了负载均衡策略,热门通用专家收到的 Token 仍可能比冷门专家多出两三倍,导致 All-to-All Combine 时全集群干等最慢的那张卡。生产系统(如 DeepSeek-V3 的 EPLB)会动态监控热点,把最忙的明星专家在空闲卡上多复制几个分身来分摊客流。
需要查阅各流水线精确时间推导、Zero-Bubble 与 EP 分层通信 Mermaid 图以及可运行的
compare_pipeline_bubbles与SimulatedExpertParallelMoE代码?按快捷键M或点击顶部技术 Wiki随时切换。
当模型深度达到 80–128 层、总参数量跨入数千亿乃至万亿级(尤其是稀疏 混合专家 MoE 模型)时,单靠 数据并行 与机内 张量/序列并行 已无法高效跨越数百个计算节点。流水线并行(Pipeline Parallelism, PP) 按模型深度将网络切分为
直观理解
把 流水线并行 想象成一条 4 工位的汽车装配厂(4 台机器,每台负责总层数的
问题动机与演进背景
- 为什么跨节点优先采用 PP 而非 TP? TP 每层都需要高频同步全量隐藏状态(All-Reduce),对延迟和带宽极其苛刻;而 PP 仅在相邻 Stage 的层边界处执行点对点 P2P 发送/接收一次激活张量(大小仅
),通信量比 TP 低一个数量级以上,天然契合跨机 InfiniBand 网络。 - PP 演进的十年主线:向“零气泡”发起冲锋
- GPipe(2019):将全局批次拆为
个微批次,所有前向完成后再统一执行反向。实现简单,但既存在显著启动/排空气泡,又需要在首阶段同时缓存全部 个微批次的激活(显存爆炸)。 - PipeDream-Flush / 1F1B(2021):进入稳态后每完成 1 次前向立刻执行 1 次反向(One-Forward-One-Backward),气泡率与 GPipe 相同,但将峰值在途激活数从
骤降至 。 - Interleaved 1F1B(Megatron-LM v2, 2021):给每张卡分配
个非连续的虚拟阶段(Virtual Pipeline Stages),将气泡率直接压低为原来的 ,代价是 P2P 通信次数增加 倍。 - Zero-Bubble(ZB-H1/H2, 2024):革命性地洞察到反向传播
可拆分为对输入求导 (存在跨 Stage 强依赖,必须在关键路径上) 与对权重求导 (纯本地计算,无任何跨 Stage 依赖)!把 灵活塞进原本空闲的气泡空隙中,首次实现数学意义上的零气泡。 - DeepSeek-V3 DualPipe(2024):专为大规模 MoE 打造双向流水线(Bidirectional Pipeline),在流水线两端同时注入相反方向的微批次流,不仅将气泡压至极低,更核心的是实现了 MoE All-to-All 通信与 Attention/MLP 计算的完美双向重叠。
- GPipe(2019):将全局批次拆为
- MoE 专家并行(EP)的三大工程瓶颈 当 256 个专家分布到 64 张卡时,每层都要执行两次跨节点全互联 All-to-All(Dispatch 分发 Token + Combine 回收结果)。这面临三大难题:跨节点带宽墙、路由倾斜导致的负载不均(Straggler 木桶效应),以及动态路由造成的通信-计算串行阻塞。
核心原理与数学推导
1. 流水线气泡率(Bubble Fraction)精确公式推导
设流水线共有
GPipe 与标准 1F1B
- 每个微批次穿过
个 Stage 所需有效计算时间之和为 ; - 开头预热(Warmup)等待
个 ,结尾排空(Cooldown)等待 个 ,总气泡时间为 ; - 气泡率(空闲时间占总周期时间比例)为:
- 显存峰值差异:GPipe 首阶段需缓存
份微批次激活,而 1F1B 最多仅缓存 份(当 时大幅省显存)。
- 每个微批次穿过
Interleaved 1F1B(交错虚拟阶段)
- 每张 GPU 承担
个更薄的虚拟阶段(Virtual Chunks),每块耗时缩至 与 ,总气泡时间缩小为原来的 : - 代价:每张卡需略微增加在途激活缓存,且 P2P 通信频次增至
倍。
- 每张 GPU 承担
Zero-Bubble(ZB-H1 / ZB-H2)
- 将反向拆解为
。在 ZB-H1 中,利用后置的 块填补 Cooldown 气泡,气泡时间从 削减为 ,约为 1F1B 的 ; - 在 ZB-H2 中,通过额外延迟释放少量激活显存(峰值约为
),可将全部 个 Warmup 与 Cooldown 空隙完全用 填满,在假设 时,理论气泡率趋近 (实际受限于步末优化器同步,需配合回滚同步机制)。
- 将反向拆解为
DeepSeek-V3 DualPipe(双向对称流水线)
- 将模型划分为
个 Stage( 为偶数),但每张卡同时持有对称的两端分块(例如 Rank 0 持有第 1 层与最后 1 层)。从 Rank 0 和 Rank 双向同时发射两条相反流向的微批次流。 - 在稳态期间,每个 Stage 上总是将一个方向的前向块
与另一方向的反向块 成对捆绑执行:当 正在做跨节点 MoE All-to-All 通信时,GPU 的 Tensor Core 正在全速计算 的 Attention/MLP 矩阵乘,反之亦然! - 设成对重叠后的混合块耗时为
,DualPipe 的气泡时间仅为: - 当
较大时,其气泡率比 1F1B 减半以上,同时几乎 100% 隐藏了跨节点 All-to-All 通信开销(代价是每张卡需存储双份对称段权重,这对大集群 FSDP/ZeRO-1 内存宽裕场景完全可接受)。
- 将模型划分为
2. MoE 专家并行(EP)与 All-to-All 通信优化
设一个 MoE 层包含
- Dispatch(前向分发):通过
All-to-All将本卡个 Token 按路由索引重排发送至目标专家所在 GPU; - Expert FFN(本地专家计算):使用 Grouped GEMM(分组矩阵乘) 并行计算本卡所有专家的 SwiGLU FFN,避免为每个专家循环发射零散小 Kernel;
- Combine(前向回收):再次执行
All-to-All将专家输出传回原 Token 所在 GPU,并按路由门控权重加权求和。
跨节点通信量分析与 DeepSeek-V3 节点受限路由(Node-Limited Routing): 若单卡输入
- 若某 Token 在同一目标节点上命中了 2 个不同专家,跨节点 IB 网络只发送一份 Token 拷贝到目标节点;
- 抵达目标节点后,再经由极速机内 NVLink 转发给该节点内的目标专家卡! 这一设计直接将跨节点 IB 通信量成倍压缩,配合 DeepEP(基于 NVSHMEM / IBGDA 的零 SM 占用或极少 SM 占用定制通信核)与 DualPipe 双向重叠,实现了跨 2048 张 H800 GPU 近乎零通信开销的 671B MoE 预训练。
算法架构与数据流图
下图展示了 Zero-Bubble 拆分原理与 MoE 专家并行(EP)的分层 All-to-All 通信拓扑:
图表加载中...
复杂度与横向对比
设流水线阶段数
| 流水线调度算法 | 气泡率公式 | 气泡时间 ( | 峰值在途激活数 | 权重显存倍数 | 核心特点与适用场景 |
|---|---|---|---|---|---|
| GPipe | 实现最简,但大 | ||||
| 1F1B | 工业最稳健基线,气泡与 GPipe 相同但激活大降 | ||||
| Interleaved 1F1B | 气泡降为 | ||||
| Zero-Bubble (ZB-H1/H2) | 拆分 | ||||
| DualPipe (DeepSeek-V3) | 极低 | 双向发射 + 完美重叠 MoE All-to-All 通信 |
核心 PyTorch 参考实现
下面代码给出两项核心模拟:一是计算并对比不同流水线策略的气泡率;二是单机完整演示 MoE 专家并行(EP)的 Top-
python
import torch
import torch.nn as nn
import torch.nn.functional as F
def compare_pipeline_bubbles(p: int = 8, m: int = 32, v: int = 4):
"""对比 p 阶段、m 微批次下各主流流水线调度的理论气泡率(设 t_F = t_Bx = t_W = 1)。"""
b_1f1b = (p - 1) / (m + p - 1)
b_interleaved = (p - 1) / (v * m + p - 1)
# ZB-H1 气泡时间约为 1F1B 的 1/3: (p-1) / (3m + p - 1)
b_zbh1 = (p - 1) / (3 * m + p - 1)
# DualPipe 双向气泡约 (p/2 - 1) * (1) / (3m + p/2 - 1) 级
b_dualpipe = (p / 2 - 1) / (2 * m + p / 2 - 1)
print(
f"p={p}, m={m}, v={v} 理论气泡率 | "
f"1F1B: {b_1f1b:.2%} | Interleaved(v={v}): {b_interleaved:.2%} | "
f"ZB-H1: {b_zbh1:.2%} | DualPipe: {b_dualpipe:.2%}"
)
class SimulatedExpertParallelMoE(nn.Module):
"""模拟 EP 专家并行层:Top-k 路由 -> All-to-All Dispatch -> 本地专家计算 -> All-to-All Combine。"""
def __init__(self, d_model: int, d_ff: int, num_experts: int, ep_size: int, top_k: int = 2):
super().__init__()
assert num_experts % ep_size == 0
self.ep_size = ep_size
self.num_experts = num_experts
self.experts_per_rank = num_experts // ep_size
self.top_k = top_k
self.router = nn.Linear(d_model, num_experts, bias=False)
# 为每个 Rank 上的本地专家分配独立 FFN 权重
self.experts = nn.ModuleList(
[nn.Sequential(nn.Linear(d_model, d_ff), nn.SiLU(), nn.Linear(d_ff, d_model)) for _ in range(num_experts)]
)
def forward_ep_simulation(self, rank_inputs: list[torch.Tensor]) -> list[torch.Tensor]:
"""rank_inputs: 长度为 ep_size 的列表,每项形状 [T, D] 代表各 EP Rank 本地 Token。"""
T, D = rank_inputs[0].shape
# === Step 1: 各 Rank 本地执行 Router 门控,计算目标专家与权重 ===
# dispatch_buffers[dst_rank] 收集将要发往 dst_rank 的 (src_rank, token_idx, local_exp_id, gate_w, vec)
send_buckets = [[] for _ in range(self.ep_size)]
for src_r, x in enumerate(rank_inputs):
logits = self.router(x) # [T, E]
probs = F.softmax(logits, dim=-1) # [T, E]
top_w, top_idx = torch.topk(probs, k=self.top_k, dim=-1) # [T, k], [T, k]
top_w = top_w / top_w.sum(dim=-1, keepdim=True) # 归一化门控权重
for tok_i in range(T):
for k_i in range(self.top_k):
exp_id = int(top_idx[tok_i, k_i].item())
dst_r = exp_id // self.experts_per_rank
send_buckets[dst_r].append((src_r, tok_i, exp_id, top_w[tok_i, k_i], x[tok_i]))
# === Step 2: All-to-All Dispatch 完成 -> 各 EP Rank 本地执行专家计算 ===
return_buckets = [[] for _ in range(self.ep_size)]
for dst_r in range(self.ep_size):
# 生产中按 exp_id 排序并用 Grouped GEMM 一次性并行计算
for src_r, tok_i, exp_id, w, vec in send_buckets[dst_r]:
y_exp = self.experts[exp_id](vec.unsqueeze(0)).squeeze(0) # [D]
return_buckets[src_r].append((tok_i, w * y_exp))
# === Step 3: All-to-All Combine -> 还原各 Rank 原始 Token 顺序并加权汇总 ===
rank_outputs = [torch.zeros(T, D, device=rank_inputs[0].device) for _ in range(self.ep_size)]
for src_r in range(self.ep_size):
for tok_i, weighted_y in return_buckets[src_r]:
rank_outputs[src_r][tok_i] = rank_outputs[src_r][tok_i] + weighted_y
return rank_outputs
if __name__ == "__main__":
torch.manual_seed(0)
compare_pipeline_bubbles(p=8, m=32, v=4)
ep_moe = SimulatedExpertParallelMoE(d_model=32, d_ff=64, num_experts=8, ep_size=4, top_k=2)
rank_xs = [torch.randn(6, 32) for _ in range(4)]
rank_ys = ep_moe.forward_ep_simulation(rank_xs)
print(f"[EP MoE] 4 Rank 输入形状均 {tuple(rank_xs[0].shape)} -> 输出形状均 {tuple(rank_ys[0].shape)}")工程实践与常见陷阱
工程实践
- 首尾 Stage 的词表层负载均衡:第 0 个 Stage 包含巨大的词嵌入表,最后一个 Stage 包含词表输出头
LM Head与 Cross-Entropy 损失(甚至还有 MTP 模块),其计算量与显存均远高于普通中间层。工程上必须减少首尾 Stage 分配的 Transformer 层数(例如首尾少放 1–2 层,或将 Embedding/Head 拆作独立均衡布局),否则首尾 Stage 会拖慢整条流水线的节拍。 - MoE 专家冗余部署与动态负载均衡(EPLB):在真实数据分布下,即便训练时加了辅助负载均衡损失(Auxiliary-loss-free 偏置调节),某些“高频通用专家”收到的 Token 数仍可能是平均值的 2–3 倍。DeepSeek-V3/R1 引入 EPLB(Expert Parallelism Load Balancer),周期性统计各专家热点负载,在空闲 GPU 上为最热门专家复制冗余副本,使各卡计算量高度均衡。
- 无 Token 丢弃(Dropless MoE / MegaBlocks):早期 MoE 为对齐静态张量形状设置了容量因子(Capacity Factor),超出容量的 Token 直接被丢弃导致训练质量受损。现代 EP 全面采用 Grouped GEMM(如 MegaBlocks / Cutlass Grouped GEMM) 处理变长专家分组,实现零 Token 丢弃与高 Tensor Core 利用率。
常见陷阱
- PP 流水线首尾权重共享(Weight Tying)引发额外跨节点同步:若词嵌入权重与输出头权重绑定,位于第 0 阶段与最后阶段的权重副本必须在每步反向后额外执行一次跨首尾节点的 All-Reduce 梯度同步。现代大模型(如 LLaMA-3、DeepSeek-V3)普遍解除 Embedding 与 LM Head 绑定,既提升表征容量又消除流水线首尾耦合。
- 微批次数量
过小导致 PP 效率崩盘:根据 公式,若 ,即便采用 1F1B 也有接近 50% 的算力化作气泡。经验法则要求全局批次经 DP 切分后,单条流水线至少拥有 个微批次。 - EP 通信死锁与变长同步开销:在动态路由下,每张 EP 卡发往其余各卡的 Token 数量每步都在变化。必须先用一次极轻量的
All-to-All交换元数据数组(每对 Rank 的 Token 计数矩阵),再根据计数动态分配接收缓冲区并调用torch.distributed.all_to_all_single执行真正的数据传输。
延伸阅读与参考论文
- Huang, Y., et al. (2019). GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism. NeurIPS 2019. (arXiv:1811.06965 ↗)
- Narayanan, D., et al. (2021). Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM (Interleaved 1F1B). SC21. (arXiv:2104.04473 ↗)
- Qi, P., et al. (2024). Zero Bubble Pipeline Parallelism. ICLR 2024. (arXiv:2401.10241 ↗)
- Lepikhin, D., et al. (2021). GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (EP 奠基). ICLR 2021. (arXiv:2006.16668 ↗)
- Gale, T., et al. (2023). MegaBlocks: Efficient Sparse Training with Mixture-of-Experts. MLSys 2023. (arXiv:2211.15841 ↗)
- DeepSeek-AI (2024). DeepSeek-V3 Technical Report (Section 3.2: DualPipe & Cross-Node All-to-All). (arXiv:2412.19437 ↗)