外观
概念定义 · 什么是扩散模型(Diffusion)、Flow Matching 与 DiT?
和文本逐字预测不同,生成高清图像或连续信号的主流范式是 扩散模型(Diffusion) 与 流匹配(Flow Matching):训练时把一张清晰图像一步步加噪直到变成纯雪花噪声,再教神经网络学会“倒放”——从纯噪声出发,一步步把噪声擦除、还原出符合文字描述的清晰画面。
其中 Flow Matching(Rectified Flow) 把弯曲坎坷的去噪路径拉成了笔直高速路,大幅减少采样步数;而 DiT(Diffusion Transformer) 则把传统的卷积骨干 U-Net 换成了可扩展性更强的 Transformer。
01 为什么要发明它:从“一步画成”到“逐步雕琢”
在扩散模型称霸之前,AI 画画领域主要有两派高手,却各自带着致命伤:
- VAE(变分自编码器):画得飞快,一步就能出图,但因为过度追求像素平均保险,画出来的边缘总是蒙着一层磨皮般的模糊雾气。
- GAN(生成对抗网络):画出来的图片极其锐利逼真,但训练过程像一场走钢丝的“造假者 vs 鉴宝师”博弈——稍微失衡就会模式坍塌(不管提示词写什么,反复只画同一张人脸),极难稳定扩展到百亿参数和海量互联网数据。
研究者于是反思:一口气从纯随机数直接蹦出一张 4K 写实照片实在太难了。能不能把“凭空画一张杰作”这道超纲题,拆成几百道极其简单的“擦掉一点点雪花噪点”的小题?
类比 · 清水滴墨的时光倒流
往一杯清水里滴一滴墨水,墨水会慢慢散开,最终整杯水变成均匀的灰水——这就是前向加噪,物理上毫不费力。
扩散模型(DDPM) 干的事,就是让神经网络反复观察加噪的每一个瞬间,学会回答一个极简问题:“此刻水里的灰色,上一毫秒是往哪个方向散开的?”只要每一毫秒都能精确倒推回去,哪怕最初只给它一团纯随机雪花,它也能像时光倒流一样,一步步把墨水凝聚成一幅清晰的蒙娜丽莎。
核心设问
逐步去噪解决了画质与稳定性的难题,但初代 DDPM 需要迭代 1000 步、在像素空间算力爆炸、且卷积 U-Net 很难做大。怎么把采样步数从 1000 步压到 20 步甚至 4 步,同时让图像和视频生成也能享受 Transformer 的 Scaling Laws?
02 核心直觉:搬进压缩房、装方向盘、拉直航线、换大引擎
从 DDPM(arXiv:2006.11239 ↗)到 Stable Diffusion 3 / Flux / Sora,现代视觉生成只干了四件直击灵魂的大事:
第一步:搬进低维压缩房省 64 倍算力(Latent Diffusion)
LDM(2022) ↗ 发现一张高清照片里 90% 都是人眼根本察觉不到的高频像素冗余。于是先用 KL-VAE 把
第二步:装上听话的方向盘(CFG 无分类器引导)
仅把文本提示词塞给模型,它常常敷衍了事,画得模棱两可。CFG(arXiv:2207.12598 ↗)在训练时随机拿掉 10% 的文本提示,让模型同时学会“听提示画”和“盲画”;推理时把两遍预测做个减法,然后沿着两者的差值方向放大外推,强迫画面往提示词描述的语义特征精准靠拢。
第三步:把曲折山路改成笔直高速(Flow Matching / Rectified Flow)
老式 DDPM 沿着弯弯曲曲的随机布朗运动折返,即便用 DDIM(arXiv:2010.02502 ↗)改成确定性跳步也依然要走 20–50 步。Rectified Flow(arXiv:2209.03003 ↗)和 SD3 ↗ 干脆在纯噪声和真实图像之间拉一条笔直的线段,让模型直接预测沿直线前进的恒定速度场——路拉直了,欧拉法大步跨 15–25 步就能直达终点,再做一步蒸馏甚至 1–4 步出图!
第四步:把 U-Net 换成 DiT 引擎(Scaling Laws 降临)
DiT(Peebles & Xie, 2023 ↗)把传统卷积 U-Net 彻底换成标准 Transformer,通过 adaLN-Zero 把时间步和文本条件零初始化地调制进每一层残差块。实验惊人地证明:视觉生成同样满足“模型越大、算力越多、画质 FID 单调变好”的 Scaling Laws;再到 SD3 / Flux 的 MMDiT,图像 Token 和文本 Token 在注意力里双向对话,连复杂海报长文字都能画得一字不差。
类比 · 沿着盘山路摸黑下山 vs 沿着钢索滑翔
- 传统 DDPM 像从山顶(纯噪声)摸黑沿弯弯曲曲的盘山公路走回山脚(清晰图像),因为路弯,每步只能迈极小碎步,走 1000 步才敢落地;
- Rectified Flow(流匹配) 像直接在山顶和山脚之间架了一条绷紧的笔直滑索:方向从头到尾恒定不变,只要速度箭头估得准,大步滑十几下就能稳稳精准落地。
03 把关键公式读成人话
先看如今 SD3 / Flux / Sora 全面采用的 Rectified Flow(条件流匹配)核心方程:
把公式读成直觉:-
就是起点和终点连线上按比例 切出来的中间半透明画面( 时是一半噪声混一半真图)。 - 这条直线的真实前进速度永远是恒定向量
。神经网络 要学的任务无比纯粹:看一眼此刻的半成品 、当前进度 和文字提示 ,猜出指向终点真图的直线速度箭头。
再看让文生图死死听懂提示词的 CFG(无分类器引导)外推公式:
把公式读成直觉:-
- 两者的差值
提纯出了 “到底是什么让这张图更像穿宇航服的柴犬” 的纯粹语义增量。 - 引导系数
(常取 5.0–7.5)就像调料勺:是原味;调大 相当于把“宇航服柴犬”的风味加倍放大,但加太猛(如 )画面就会过饱和烤焦。
04 它在模型里怎么工作 & 与上下游的关系
视觉生成模型与大语言模型架构正以前所未有的速度合流:
- 上游核心组件:DDPM 的变分下界源自 信息论中的 KL 散度与 ELBO;现代主力骨干 DiT / MMDiT 全面复用 Transformer 架构 与 2D-RoPE 位置编码;而把时间步
和文本条件丝滑注入残差块的 adaLN-Zero,本质上是 层归一化(LayerNorm) 的条件调制升级版。 - 与自回归路线的双雄竞争:除了连续空间的流匹配,LlamaGen / Emu3 / VAR(arXiv:2404.02905 ↗)正在用离散图像 Token 或“由粗到细下一尺度预测”直接走 GPT 同款自回归路线,能够无缝复用 KV Cache 并与 视觉语言模型(VLM) 合并为“既能看又能画”的原生统一模型。
- 下游安全闭环:照片级逼真画质也带来了深度伪造、肖像侵权与违规图像风险,线上生图服务必须联动 安全治理与护栏系统 做好提示词过滤与隐形水印溯源。
05 演化对比与避坑备忘
| 生成范式 | 典型采样步数 | 训练稳定性 | 构图与文字渲染 | 代表系统 |
|---|---|---|---|---|
| DDPM (U-Net) (arXiv ↗) | 500–1000 步 | 极高 | 良 | 初代扩散基石 |
| LDM + DDIM (arXiv ↗) | 20–50 步 | 极高 | 强 | SD1.5 / SDXL |
| Flow Matching + DiT (arXiv ↗) | 15–30 步(蒸馏 1–4 步) | 极高 | 极强(擅长长文排版) | SD3、Flux.1、Sora |
| 多尺度自回归 VAR (arXiv ↗) | 约 10 个尺度步 | 极高 | 强(天然统一 LLM 栈) | VAR、Emu3 |
三个最容易踩的实战坑:
- 忘了缩放 VAE 的潜在特征方差,模型直接训崩:不同 VAE 吐出来的潜在张量标准差并不等于
(比如 SD1.5 要乘 0.18215)。如果不先做归一化标定就直接和标准高斯噪声混合,信噪比彻底错乱,生成的全是彩色噪点。 - 盲目把 CFG 调太高,画面立刻“烤糊”:初学者觉得提示词没听懂就把
cfg_scale拉到15或20,结果速度场范数爆炸,画面出现高对比度霓虹烧灼伪影和畸形肢体;而且传统 CFG 每步要做两次前向计算,吞吐直接腰斩。 - 训练不留 EMA 权重,推理质量凭空掉一截:扩散和流匹配单步采样噪声方差很大,直接拿最新一步的权重去生图往往充满微小颗粒瑕疵;工程上务必全程维护衰减率
0.999–0.9999的指数移动平均(EMA)影子权重用于推理。
想查看 DDPM 完整 ELBO 数学推导、Logit-Normal 时间步偏移公式以及自包含的
DiTBlock (adaLN-Zero)与euler_cfg_samplePyTorch 实现?按快捷键M或点击顶部技术 Wiki随时切换。
从 Stable Diffusion、Midjourney、Flux 到 Sora 等文生图与文生视频基座模型,现代生成式视觉的核心引擎已从早期的 GAN(生成对抗网络)全面转向扩散模型(Diffusion Models) 与更简洁高效的流匹配(Flow Matching / Rectified Flow),而在网络骨干上则完成了从卷积 U-Net 到可扩展 DiT(Diffusion Transformer) 的代际跨越。与此同时,自回归视觉生成(Autoregressive Visual Generation) 正尝试用大语言模型同一套 Next-Token 范式统一多模态理解与生成。
直观理解
在一杯清水中滴入一滴墨水,墨水会不可逆地逐渐扩散成均匀的灰水(前向加噪过程);扩散模型的目标,就是训练一个神经网络学会观看任意时刻的灰水并精准预测“上一毫秒墨水分子是如何散开的”,从而让时间倒流,从一团纯随机雪花噪声中一步步雕塑出栩栩如生的清晰图像。而流匹配(Rectified Flow)更进一步:与其沿着弯弯曲曲的随机布朗路径折返,不如直接画一条从噪声指向真实图像的笔直高速公路,让采样步数大幅减少。
问题动机与演进背景
早期的深度生成模型各有明显短板:VAE(变分自编码器)采样迅速但生成图像边缘模糊;GAN 能够生成锐利图像,却饱受训练不稳定、模式坍塌(Mode Collapse)与梯度消失困扰。
去噪扩散概率模型(DDPM) 通过将复杂的单步数据分布映射拆解为上千步简单的微弱高斯去噪,获得了极其稳定的训练动态与极高的样本多样性。随后的每一次里程碑突破都直击前一代瓶颈:
- 采样太慢(DDPM 需 1000 步)
DDIM 非马尔可夫确定性采样降至 20–50 步; - 像素空间算力爆炸
Latent Diffusion(LDM) 引入 VAE 在低维潜在空间扩散,并结合 CFG 精准控制文本贴合度; - 随机轨迹弯曲导致少步失真
Rectified Flow / Flow Matching 用线性常微分方程(ODE)直连噪声与数据分布; - U-Net 难以扩展至百亿参数与时空视频
DiT + adaLN-Zero 彻底拥抱 Transformer 架构与 Scaling Laws,并与 视觉语言模型(VLM) 加速走向统一多模态与 安全治理。
核心原理与数学推导
1. DDPM 前向加噪、ELBO 推导与简化去噪目标
设真实数据分布为
反向过程用神经网络参数化高斯转移核
由于给定
2. DDIM 确定性采样与加速
DDIM(Denoising Diffusion Implicit Models) 发现 DDPM 训练目标仅依赖边缘分布
当令随机噪声系数
3. Latent Diffusion(LDM)与无分类器引导(CFG)
- 潜在空间扩散(LDM / Stable Diffusion):先训练一个高压缩比感知自动编码器(KL-VAE),将
像素图压缩 为 (如 或 )的紧凑潜在张量 。去除人眼不可察的高频像素冗余后,扩散模型只在低维语义潜在空间运行,算力消耗骤降数十倍,最后由解码器 重建高清图像。 - 无分类器引导(Classifier-Free Guidance, CFG):为强力对齐文本提示词
,训练时以一定概率(如 10%)随机将条件 置空 ,令同一网络同时学会有条件预测与无条件预测;推理时沿条件与无条件的差值方向外推放大(引导尺度 ,通常取 – ):
本质上,CFG 等价于从温度锐化后的隐式后验分布
4. Rectified Flow / Flow Matching(连续速度场)
现代最前沿视觉生成模型(SD3、Flux.1、Sora/Wan 等)已全面从离散 DDPM 切换至 Flow Matching / Rectified Flow 框架。它在连续时间
模型
采样时只需从随机噪声
5. DiT(Diffusion Transformer)与自回归视觉生成
- DiT 与 adaLN-Zero:Peebles & Xie(2023)将潜在张量
按 Patchify 切分为视觉 Token 序列,全部替换为标准 Transformer Block。为高效注入时间步 与类别/文本全局条件 ,DiT 采用基于 层归一化 的 adaLN-Zero(自适应层归一化零初始化):由条件向量经 MLP 回归出 6 组调制参数 ,分别控制注意力与 FFN 子层的归一化缩放偏移与残差门控,并将残差门控输出层权重初始化为 全零,使初始 DiT 严格等价于恒等映射,极大加速深层模型收敛。在 SD3 / Flux 中进一步演化为 MMDiT(多模态双流 DiT),让图像 Token 与文本 Token 拥有独立权重但在自注意力中拼接联合交互。 - 自回归视觉生成(Autoregressive Visual Generation):另一条路线通过离散量化分词器(VQGAN / FSQ)将图像转为离散视觉 Token,使用类似 GPT 的因果自回归模型逐 Token 预测并直接复用 KV Cache(如 LlamaGen、Emu3);或通过 VAR(Visual Autoregressive Modeling) 革新为“由粗到细的下一尺度预测(Next-Scale Prediction)”,既保留了类 LLM 的统一架构与 Scaling 特性,又克服了光栅扫描逐像素生成太慢且破坏二维局部性的缺陷。
算法架构与数据流图
下图展示了基于 VAE + MMDiT (adaLN-Zero) + Rectified Flow ODE 的现代文生图推理管线:
图表加载中...
复杂度与横向对比表
| 生成范式 | 采样步数(NFE) | 训练稳定性 | 文本对齐与细节画质 | 与 LLM 架构统一性 | 核心特点与代表模型 |
|---|---|---|---|---|---|
| DDPM (U-Net) | 500–1000 步 | 极高 | 良 | 弱 | 奠基范式,采样缓慢且像素空间显存大 |
| LDM + DDIM / DPM-Solver | 20–50 步 | 极高 | 强 | 弱 | 潜在空间压缩 + CFG,开创开源生态(SD1.5 / SDXL) |
| Flow Matching + DiT / MMDiT | 15–30 步(蒸馏后 1–4 步) | 极高 | 极强(文字渲染/构图极佳) | 中(共享 Transformer) | 直线 ODE 轨迹 + 可扩展主干(SD3、Flux.1、Sora) |
| 光栅自回归(Next-Token) | 极高 | 中强(受 VQ 码本重建上限限制) | 极强(原生统一多模态) | 直接复用 LLM 推理栈与 KV Cache(Chameleon、Emu3) | |
| 多尺度自回归(VAR) | 约 10 步(按尺度递增) | 极高 | 强 | 强 | 由粗到细预测整张尺度特征图,速度远超逐 Token 自回归 |
核心 PyTorch 参考实现
下面给出自包含的 DiT adaLN-Zero 核心模块 与 Rectified Flow 训练损失 + CFG 欧拉采样循环实现:
python
import torch
import torch.nn as nn
import torch.nn.functional as F
def modulate(x: torch.Tensor, shift: torch.Tensor, scale: torch.Tensor) -> torch.Tensor:
"""adaLN 仿射调制: x * (1 + scale) + shift。"""
return x * (1.0 + scale.unsqueeze(1)) + shift.unsqueeze(1)
class DiTBlock(nn.Module):
"""带 adaLN-Zero 条件调制的标准 Diffusion Transformer 块。"""
def __init__(self, hidden_size: int, num_heads: int, mlp_ratio: float = 4.0):
super().__init__()
self.norm1 = nn.LayerNorm(hidden_size, elementwise_affine=False, eps=1e-6)
self.attn = nn.MultiheadAttention(hidden_size, num_heads, batch_first=True)
self.norm2 = nn.LayerNorm(hidden_size, elementwise_affine=False, eps=1e-6)
mlp_dim = int(hidden_size * mlp_ratio)
self.mlp = nn.Sequential(
nn.Linear(hidden_size, mlp_dim),
nn.GELU(approximate="tanh"),
nn.Linear(mlp_dim, hidden_size),
)
# 一次性预测 6 组调制参数: (shift_msa, scale_msa, gate_msa, shift_mlp, scale_mlp, gate_mlp)
self.adaLN_modulation = nn.Sequential(
nn.SiLU(),
nn.Linear(hidden_size, 6 * hidden_size),
)
# Zero-Initialization: 保证训练初始阶段该块严格为恒等映射
nn.init.zeros_(self.adaLN_modulation[-1].weight)
nn.init.zeros_(self.adaLN_modulation[-1].bias)
def forward(self, x: torch.Tensor, c: torch.Tensor) -> torch.Tensor:
"""
Args:
x: [B, N, D] 图像潜在 Patch 序列
c: [B, D] 融合了时间步 t 与文本/类别的条件向量
"""
shift_msa, scale_msa, gate_msa, shift_mlp, scale_mlp, gate_mlp = (
self.adaLN_modulation(c).chunk(6, dim=-1)
)
# 1. 自注意力子层 + 零初始化门控残差
h = modulate(self.norm1(x), shift_msa, scale_msa)
attn_out, _ = self.attn(h, h, h, need_weights=False)
x = x + gate_msa.unsqueeze(1) * attn_out
# 2. 前馈网络子层 + 零初始化门控残差
h2 = modulate(self.norm2(x), shift_mlp, scale_mlp)
x = x + gate_mlp.unsqueeze(1) * self.mlp(h2)
return x
def rectified_flow_loss(
model_fn,
x1_clean: torch.Tensor,
cond: torch.Tensor,
) -> torch.Tensor:
"""
Rectified Flow / Conditional Flow Matching 训练损失。
使用 Logit-Normal 时间步采样(SD3 策略)将算力集中于关键中段去噪区间。
Args:
x1_clean: [B, N, D] 干净数据潜在表征 (t=1)
cond: [B, D] 条件向量
"""
B = x1_clean.size(0)
x0_noise = torch.randn_like(x1_clean) # 纯高斯噪声 (t=0)
# Logit-Normal 采样比均匀采样更聚焦 t 靠近 0.5 的高信息量区域
t = torch.sigmoid(torch.randn(B, device=x1_clean.device)) # [B] in (0, 1)
t_view = t.view(B, 1, 1)
xt = t_view * x1_clean + (1.0 - t_view) * x0_noise # 直线插值状态
target_v = x1_clean - x0_noise # 目标恒定速度场
pred_v = model_fn(xt, t, cond)
return F.mse_loss(pred_v, target_v)
@torch.no_grad()
def euler_cfg_sample(
model_fn,
shape: tuple[int, ...],
cond: torch.Tensor,
uncond: torch.Tensor,
steps: int = 20,
cfg_scale: float = 5.0,
device: str = "cpu",
) -> torch.Tensor:
"""带 CFG 无分类器引导的 Rectified Flow 欧拉积分采样。"""
x = torch.randn(shape, device=device) # 从 t=0 纯噪声出发
dt = 1.0 / steps
for i in range(steps):
t = torch.full((shape[0],), i * dt, device=device)
v_cond = model_fn(x, t, cond)
v_uncond = model_fn(x, t, uncond)
# 无分类器引导速度场外推
v_guided = v_uncond + cfg_scale * (v_cond - v_uncond)
x = x + dt * v_guided
return x
if __name__ == "__main__":
block = DiTBlock(hidden_size=256, num_heads=4)
dummy_model = lambda x, t, c: block(x, c + t.unsqueeze(-1))
x1 = torch.randn(2, 16, 256)
c = torch.randn(2, 256)
loss = rectified_flow_loss(dummy_model, x1, c)
sample = euler_cfg_sample(dummy_model, (2, 16, 256), c, torch.zeros_like(c), steps=10)
print(f"Rectified Flow Loss: {loss.item():.4f}, Sample shape: {sample.shape}")工程实践与常见陷阱
工程实践
- Logit-Normal 时间步采样与分辨率偏移(Resolution Shifting):在 Rectified Flow 训练中,接近
(纯噪)和 (近乎清晰)的预测过于简单,采用 Logit-Normal 分布集中采样中段 可显著提升收敛效率;此外,高分辨率图像信噪比天然高于低分辨率图像,推理与训练时应按 SD3 公式对时间步施加偏移 ( ),保证高分图在高噪声阶段得到充分构图去噪。 - 高通道 VAE 显著缓解细小文字失真:传统 SD1.5 的 4 通道 VAE 重建小号文字与人脸五官常出现涂抹伪影;现代架构(SD3 / Flux)普遍将潜在空间通道数从
扩增至 ,大幅提升高频重建保真度。 - 始终维护 EMA(指数移动平均)权重:扩散/流匹配模型单步梯度方差较大,训练时对参数维护衰减率为
0.999–0.9999的 EMA 副本用于推理,通常能将 FID 指标大幅优化并显著减少画面瑕疵。
常见陷阱
- CFG 引导尺度过大导致色彩过饱和与伪影:盲目调高 CFG 尺度(如
)会使速度场或噪声预测范数爆炸,造成画面高对比度烧灼感(Oversaturation)与结构畸变;现代 Flux 等蒸馏模型甚至采用内置 Guidance Embedding 替代推理期双倍前向计算 CFG。 - 遗忘缩放 VAE 潜在变量方差(Scaling Factor):不同 VAE 编码输出的潜在特征标准差并非严格为
(例如 SD1.5 约为 1/0.18215)。若直接将其与单位高斯噪声线性混合,会破坏信噪比调度表导致模型彻底学崩,务必乘以标定缩放因子并减去均值偏移(Shift Factor)。 - 忽视训练-推理零终端信噪比(Zero Terminal SNR)缺陷:传统线性
调度在 时 并未真正归零,导致模型无法生成纯黑或纯白极暗极亮画面(均值偏移漏洞);采用 Flow Matching 或 Cosine / v-prediction 配合 Zero Terminal SNR 可彻底根治该问题。
延伸阅读与参考论文
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models (DDPM). NeurIPS 2020. arXiv:2006.11239 ↗
- Song, J., Meng, C., & Ermon, S. (2020). Denoising Diffusion Implicit Models (DDIM). ICLR 2021. arXiv:2010.02502 ↗
- Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR 2022. arXiv:2112.10752 ↗
- Ho, J., & Salimans, T. (2022). Classifier-Free Diffusion Guidance. NeurIPS Workshop. arXiv:2207.12598 ↗
- Liu, X., Gong, C., & Liu, Q. (2022). Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow. ICLR 2023. arXiv:2209.03003 ↗
- Peebles, W., & Xie, S. (2023). Scalable Diffusion Models with Transformers (DiT). ICCV 2023. arXiv:2212.09748 ↗
- Esser, P., Kulal, S., Blattmann, A., et al. (2024). Scaling Rectified Flow Transformers for High-Resolution Image Synthesis (SD3). ICML 2024. arXiv:2403.03206 ↗
- Tian, K., Jiang, Y., Yuan, Z., et al. (2024). Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction (VAR). NeurIPS 2024. arXiv:2404.02905 ↗