Skip to content

扩散模型、流匹配与视觉生成 (Diffusion & Flow Matching)

推导 DDPM/DDIM、潜在扩散与 CFG,深入剖析流匹配 Rectified Flow、DiT 与自回归视觉生成。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是扩散模型(Diffusion)、Flow Matching 与 DiT?

和文本逐字预测不同,生成高清图像或连续信号的主流范式是 扩散模型(Diffusion) 与 流匹配(Flow Matching):训练时把一张清晰图像一步步加噪直到变成纯雪花噪声,再教神经网络学会“倒放”——从纯噪声出发,一步步把噪声擦除、还原出符合文字描述的清晰画面。

其中 Flow Matching(Rectified Flow) 把弯曲坎坷的去噪路径拉成了笔直高速路,大幅减少采样步数;而 DiT(Diffusion Transformer) 则把传统的卷积骨干 U-Net 换成了可扩展性更强的 Transformer。

01 为什么要发明它:从“一步画成”到“逐步雕琢” ​

在扩散模型称霸之前,AI 画画领域主要有两派高手,却各自带着致命伤:

  • VAE(变分自编码器):画得飞快,一步就能出图,但因为过度追求像素平均保险,画出来的边缘总是蒙着一层磨皮般的模糊雾气。
  • GAN(生成对抗网络):画出来的图片极其锐利逼真,但训练过程像一场走钢丝的“造假者 vs 鉴宝师”博弈——稍微失衡就会模式坍塌(不管提示词写什么,反复只画同一张人脸),极难稳定扩展到百亿参数和海量互联网数据。

研究者于是反思:一口气从纯随机数直接蹦出一张 4K 写实照片实在太难了。能不能把“凭空画一张杰作”这道超纲题,拆成几百道极其简单的“擦掉一点点雪花噪点”的小题?

类比 · 清水滴墨的时光倒流

往一杯清水里滴一滴墨水,墨水会慢慢散开,最终整杯水变成均匀的灰水——这就是前向加噪,物理上毫不费力。

扩散模型(DDPM) 干的事,就是让神经网络反复观察加噪的每一个瞬间,学会回答一个极简问题:“此刻水里的灰色,上一毫秒是往哪个方向散开的?”只要每一毫秒都能精确倒推回去,哪怕最初只给它一团纯随机雪花,它也能像时光倒流一样,一步步把墨水凝聚成一幅清晰的蒙娜丽莎。

核心设问

逐步去噪解决了画质与稳定性的难题,但初代 DDPM 需要迭代 1000 步、在像素空间算力爆炸、且卷积 U-Net 很难做大。怎么把采样步数从 1000 步压到 20 步甚至 4 步,同时让图像和视频生成也能享受 Transformer 的 Scaling Laws?

02 核心直觉:搬进压缩房、装方向盘、拉直航线、换大引擎 ​

从 DDPM(arXiv:2006.11239 ↗)到 Stable Diffusion 3 / Flux / Sora,现代视觉生成只干了四件直击灵魂的大事:

第一步:搬进低维压缩房省 64 倍算力(Latent Diffusion) ​

LDM(2022) ↗ 发现一张高清照片里 90% 都是人眼根本察觉不到的高频像素冗余。于是先用 KL-VAE 把 512×512 像素压缩 8× 成 64×64 的紧凑潜在特征图,所有去噪都在这个小房间里完成,最后再用 VAE 解码器把潜变量还原成高清大图,算力直接暴降数十倍。

第二步:装上听话的方向盘(CFG 无分类器引导) ​

仅把文本提示词塞给模型,它常常敷衍了事,画得模棱两可。CFG(arXiv:2207.12598 ↗)在训练时随机拿掉 10% 的文本提示,让模型同时学会“听提示画”和“盲画”;推理时把两遍预测做个减法,然后沿着两者的差值方向放大外推,强迫画面往提示词描述的语义特征精准靠拢。

第三步:把曲折山路改成笔直高速(Flow Matching / Rectified Flow) ​

老式 DDPM 沿着弯弯曲曲的随机布朗运动折返,即便用 DDIM(arXiv:2010.02502 ↗)改成确定性跳步也依然要走 20–50 步。Rectified Flow(arXiv:2209.03003 ↗)和 SD3 ↗ 干脆在纯噪声和真实图像之间拉一条笔直的线段,让模型直接预测沿直线前进的恒定速度场——路拉直了,欧拉法大步跨 15–25 步就能直达终点,再做一步蒸馏甚至 1–4 步出图!

第四步:把 U-Net 换成 DiT 引擎(Scaling Laws 降临) ​

DiT(Peebles & Xie, 2023 ↗)把传统卷积 U-Net 彻底换成标准 Transformer,通过 adaLN-Zero 把时间步和文本条件零初始化地调制进每一层残差块。实验惊人地证明:视觉生成同样满足“模型越大、算力越多、画质 FID 单调变好”的 Scaling Laws;再到 SD3 / Flux 的 MMDiT,图像 Token 和文本 Token 在注意力里双向对话,连复杂海报长文字都能画得一字不差。

类比 · 沿着盘山路摸黑下山 vs 沿着钢索滑翔
  • 传统 DDPM 像从山顶(纯噪声)摸黑沿弯弯曲曲的盘山公路走回山脚(清晰图像),因为路弯,每步只能迈极小碎步,走 1000 步才敢落地;
  • Rectified Flow(流匹配) 像直接在山顶和山脚之间架了一条绷紧的笔直滑索:方向从头到尾恒定不变,只要速度箭头估得准,大步滑十几下就能稳稳精准落地。

03 把关键公式读成人话 ​

先看如今 SD3 / Flux / Sora 全面采用的 Rectified Flow(条件流匹配)核心方程:

xt=tx1+(1−t)x0,LCFM(θ)=E[‖vθ(xt,t,c)−(x1−x0)‖22]

把公式读成直觉:- x0 是一团纯随机高斯噪声(起点 t=0),x1 是一张真实清晰图像的潜在表征(终点 t=1)。

  • xt 就是起点和终点连线上按比例 t 切出来的中间半透明画面(t=0.5 时是一半噪声混一半真图)。
  • 这条直线的真实前进速度永远是恒定向量 x1−x0。神经网络 vθ 要学的任务无比纯粹:看一眼此刻的半成品 xt、当前进度 t 和文字提示 c,猜出指向终点真图的直线速度箭头。

再看让文生图死死听懂提示词的 CFG(无分类器引导)外推公式:

v~θ(zt,t,c)=vθ(zt,t,∅)+w⋅(vθ(zt,t,c)−vθ(zt,t,∅))

把公式读成直觉:- vθ(⋅,∅) 是“不给提示词,模型随手画一张普通图”的方向,vθ(⋅,c) 是“听完提示词(比如‘穿宇航服的柴犬’)后”的方向。

  • 两者的差值 vcond−vuncond 提纯出了 “到底是什么让这张图更像穿宇航服的柴犬” 的纯粹语义增量。
  • 引导系数 w(常取 5.0–7.5)就像调料勺:w=1 是原味;调大 w 相当于把“宇航服柴犬”的风味加倍放大,但加太猛(如 w>12)画面就会过饱和烤焦。

04 它在模型里怎么工作 & 与上下游的关系 ​

视觉生成模型与大语言模型架构正以前所未有的速度合流:

05 演化对比与避坑备忘 ​

生成范式典型采样步数训练稳定性构图与文字渲染代表系统
DDPM (U-Net) (arXiv ↗)500–1000 步极高良初代扩散基石
LDM + DDIM (arXiv ↗)20–50 步极高强SD1.5 / SDXL
Flow Matching + DiT (arXiv ↗)15–30 步(蒸馏 1–4 步)极高极强(擅长长文排版)SD3、Flux.1、Sora
多尺度自回归 VAR (arXiv ↗)约 10 个尺度步极高强(天然统一 LLM 栈)VAR、Emu3

三个最容易踩的实战坑:

  1. 忘了缩放 VAE 的潜在特征方差,模型直接训崩:不同 VAE 吐出来的潜在张量标准差并不等于 1(比如 SD1.5 要乘 0.18215)。如果不先做归一化标定就直接和标准高斯噪声混合,信噪比彻底错乱,生成的全是彩色噪点。
  2. 盲目把 CFG 调太高,画面立刻“烤糊”:初学者觉得提示词没听懂就把 cfg_scale 拉到 15 或 20,结果速度场范数爆炸,画面出现高对比度霓虹烧灼伪影和畸形肢体;而且传统 CFG 每步要做两次前向计算,吞吐直接腰斩。
  3. 训练不留 EMA 权重,推理质量凭空掉一截:扩散和流匹配单步采样噪声方差很大,直接拿最新一步的权重去生图往往充满微小颗粒瑕疵;工程上务必全程维护衰减率 0.999–0.9999 的指数移动平均(EMA)影子权重用于推理。

想查看 DDPM 完整 ELBO 数学推导、Logit-Normal 时间步偏移公式以及自包含的 DiTBlock (adaLN-Zero) 与 euler_cfg_sample PyTorch 实现?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

从 Stable Diffusion、Midjourney、Flux 到 Sora 等文生图与文生视频基座模型,现代生成式视觉的核心引擎已从早期的 GAN(生成对抗网络)全面转向扩散模型(Diffusion Models) 与更简洁高效的流匹配(Flow Matching / Rectified Flow),而在网络骨干上则完成了从卷积 U-Net 到可扩展 DiT(Diffusion Transformer) 的代际跨越。与此同时,自回归视觉生成(Autoregressive Visual Generation) 正尝试用大语言模型同一套 Next-Token 范式统一多模态理解与生成。

直观理解

在一杯清水中滴入一滴墨水,墨水会不可逆地逐渐扩散成均匀的灰水(前向加噪过程);扩散模型的目标,就是训练一个神经网络学会观看任意时刻的灰水并精准预测“上一毫秒墨水分子是如何散开的”,从而让时间倒流,从一团纯随机雪花噪声中一步步雕塑出栩栩如生的清晰图像。而流匹配(Rectified Flow)更进一步:与其沿着弯弯曲曲的随机布朗路径折返,不如直接画一条从噪声指向真实图像的笔直高速公路,让采样步数大幅减少。

问题动机与演进背景 ​

早期的深度生成模型各有明显短板:VAE(变分自编码器)采样迅速但生成图像边缘模糊;GAN 能够生成锐利图像,却饱受训练不稳定、模式坍塌(Mode Collapse)与梯度消失困扰。

去噪扩散概率模型(DDPM) 通过将复杂的单步数据分布映射拆解为上千步简单的微弱高斯去噪,获得了极其稳定的训练动态与极高的样本多样性。随后的每一次里程碑突破都直击前一代瓶颈:

  1. 采样太慢(DDPM 需 1000 步)→ DDIM 非马尔可夫确定性采样降至 20–50 步;
  2. 像素空间算力爆炸 → Latent Diffusion(LDM) 引入 VAE 在低维潜在空间扩散,并结合 CFG 精准控制文本贴合度;
  3. 随机轨迹弯曲导致少步失真 → Rectified Flow / Flow Matching 用线性常微分方程(ODE)直连噪声与数据分布;
  4. U-Net 难以扩展至百亿参数与时空视频 → DiT + adaLN-Zero 彻底拥抱 Transformer 架构与 Scaling Laws,并与 视觉语言模型(VLM) 加速走向统一多模态与 安全治理。

核心原理与数学推导 ​

1. DDPM 前向加噪、ELBO 推导与简化去噪目标 ​

设真实数据分布为 x0∼q(x0)。前向过程按预设方差调度 {βt}t=1T 逐步注入高斯噪声,令 αt=1−βt,α¯t=∏s=1tαs,由高斯分布可加性可直接写出任意时刻 t 的闭式边缘分布:

q(xt∣x0)=N(xt;α¯tx0,(1−α¯t)I)⟺xt=α¯tx0+1−α¯tϵ,ϵ∼N(0,I)

反向过程用神经网络参数化高斯转移核 pθ(xt−1∣xt)=N(xt−1;μθ(xt,t),σt2I)。极大化数据对数似然的变分下界(ELBO)等价于极小化由 KL 散度 构成的如下分解项:

−log⁡pθ(x0)≤Eq[DKL(q(xT∣x0)∥p(xT))⏟LT(常数项)+∑t=2TDKL(q(xt−1∣xt,x0)∥pθ(xt−1∣xt))⏟Lt−1(逐步去噪匹配)−log⁡pθ(x0∣x1)⏟L0]

由于给定 x0 时后验分布 q(xt−1∣xt,x0) 具有精确闭式高斯解,其均值 μ~t(xt,x0)=1αt(xt−βt1−α¯tϵ)。Ho 等人(2020)将网络重参数化为直接预测所加噪声 ϵθ(xt,t) 并省去复杂时间权重,得到简洁稳定的训练损失:

Lsimple(θ)=Et∼U[1,T],x0,ϵ∼N(0,I)[‖ϵ−ϵθ(α¯tx0+1−α¯tϵ,t)‖22]

2. DDIM 确定性采样与加速 ​

DDIM(Denoising Diffusion Implicit Models) 发现 DDPM 训练目标仅依赖边缘分布 q(xt∣x0) 而非马尔可夫链本身,从而构造了一族广义非马尔可夫反向过程。由当前 xt 先反推预测干净图像 x^0=xt−1−α¯tϵθ(xt,t)α¯t,再跳步更新至任意先前时刻 t′<t:

xt′=α¯t′x^0+1−α¯t′−σt2ϵθ(xt,t)+σtz

当令随机噪声系数 σt=0 时,采样退化为完全确定性的 ODE 轨迹:允许跳过中间大量时间步(如仅取 20 步子序列),且实现了潜在空间插值与图像反演(DDIM Inversion)。

3. Latent Diffusion(LDM)与无分类器引导(CFG) ​

  • 潜在空间扩散(LDM / Stable Diffusion):先训练一个高压缩比感知自动编码器(KL-VAE),将 H×W×3 像素图压缩 8× 为 H8×W8×Cz(如 Cz=4 或 16)的紧凑潜在张量 z0=E(x)。去除人眼不可察的高频像素冗余后,扩散模型只在低维语义潜在空间运行,算力消耗骤降数十倍,最后由解码器 D(z0) 重建高清图像。
  • 无分类器引导(Classifier-Free Guidance, CFG):为强力对齐文本提示词 c,训练时以一定概率(如 10%)随机将条件 c 置空 ∅,令同一网络同时学会有条件预测与无条件预测;推理时沿条件与无条件的差值方向外推放大(引导尺度 w>1,通常取 5.0–7.5):
ϵ~θ(zt,t,c)=ϵθ(zt,t,∅)+w⋅(ϵθ(zt,t,c)−ϵθ(zt,t,∅))

本质上,CFG 等价于从温度锐化后的隐式后验分布 p~(z∣c)∝p(z)p(c∣z)w 中采样,以略微牺牲样本多样性换取极高的语义对齐度与画面质感。

4. Rectified Flow / Flow Matching(连续速度场) ​

现代最前沿视觉生成模型(SD3、Flux.1、Sora/Wan 等)已全面从离散 DDPM 切换至 Flow Matching / Rectified Flow 框架。它在连续时间 t∈[0,1] 上用最简单的直线插值连接真实数据分布 x1∼pdata 与标准高斯噪声 x0∼N(0,I)(注:部分文献采用反向时间约定 x0 为数据、x1 为噪声,两者仅符号相反):

xt=tx1+(1−t)x0,dxtdt=x1−x0

模型 vθ(xt,t,c) 直接回归这一恒定直线速度场(Conditional Flow Matching Loss):

LCFM(θ)=Et,x0∼N(0,I),x1∼pdata[‖vθ(xt,t,c)−(x1−x0)‖22]

采样时只需从随机噪声 x0 出发,使用欧拉法或二阶中点 ODE 求解器沿预测速度场前向积分 xt+Δt=xt+Δt⋅vθ(xt,t,c) 即可直达 x1。由于轨迹曲率远小于 DDPM 的方差保持曲线,Rectified Flow 在 10–25 步即可达到顶尖画质,再辅以 Reflow / 蒸馏 甚至可压缩至 1–4 步生成。

5. DiT(Diffusion Transformer)与自回归视觉生成 ​

  • DiT 与 adaLN-Zero:Peebles & Xie(2023)将潜在张量 zt 按 Patchify 切分为视觉 Token 序列,全部替换为标准 Transformer Block。为高效注入时间步 t 与类别/文本全局条件 c,DiT 采用基于 层归一化 的 adaLN-Zero(自适应层归一化零初始化):由条件向量经 MLP 回归出 6 组调制参数 (γ1,β1,α1,γ2,β2,α2),分别控制注意力与 FFN 子层的归一化缩放偏移与残差门控,并将残差门控输出层权重初始化为 全零,使初始 DiT 严格等价于恒等映射,极大加速深层模型收敛。在 SD3 / Flux 中进一步演化为 MMDiT(多模态双流 DiT),让图像 Token 与文本 Token 拥有独立权重但在自注意力中拼接联合交互。
  • 自回归视觉生成(Autoregressive Visual Generation):另一条路线通过离散量化分词器(VQGAN / FSQ)将图像转为离散视觉 Token,使用类似 GPT 的因果自回归模型逐 Token 预测并直接复用 KV Cache(如 LlamaGen、Emu3);或通过 VAR(Visual Autoregressive Modeling) 革新为“由粗到细的下一尺度预测(Next-Scale Prediction)”,既保留了类 LLM 的统一架构与 Scaling 特性,又克服了光栅扫描逐像素生成太慢且破坏二维局部性的缺陷。

算法架构与数据流图 ​

下图展示了基于 VAE + MMDiT (adaLN-Zero) + Rectified Flow ODE 的现代文生图推理管线:

图表加载中...

复杂度与横向对比表 ​

生成范式采样步数(NFE)训练稳定性文本对齐与细节画质与 LLM 架构统一性核心特点与代表模型
DDPM (U-Net)500–1000 步极高良弱奠基范式,采样缓慢且像素空间显存大
LDM + DDIM / DPM-Solver20–50 步极高强弱潜在空间压缩 + CFG,开创开源生态(SD1.5 / SDXL)
Flow Matching + DiT / MMDiT15–30 步(蒸馏后 1–4 步)极高极强(文字渲染/构图极佳)中(共享 Transformer)直线 ODE 轨迹 + 可扩展主干(SD3、Flux.1、Sora)
光栅自回归(Next-Token)O(HpWp)(约 1024 步)极高中强(受 VQ 码本重建上限限制)极强(原生统一多模态)直接复用 LLM 推理栈与 KV Cache(Chameleon、Emu3)
多尺度自回归(VAR)约 10 步(按尺度递增)极高强强由粗到细预测整张尺度特征图,速度远超逐 Token 自回归

核心 PyTorch 参考实现 ​

下面给出自包含的 DiT adaLN-Zero 核心模块 与 Rectified Flow 训练损失 + CFG 欧拉采样循环实现:

python
import torch
import torch.nn as nn
import torch.nn.functional as F


def modulate(x: torch.Tensor, shift: torch.Tensor, scale: torch.Tensor) -> torch.Tensor:
    """adaLN 仿射调制: x * (1 + scale) + shift。"""
    return x * (1.0 + scale.unsqueeze(1)) + shift.unsqueeze(1)


class DiTBlock(nn.Module):
    """带 adaLN-Zero 条件调制的标准 Diffusion Transformer 块。"""

    def __init__(self, hidden_size: int, num_heads: int, mlp_ratio: float = 4.0):
        super().__init__()
        self.norm1 = nn.LayerNorm(hidden_size, elementwise_affine=False, eps=1e-6)
        self.attn = nn.MultiheadAttention(hidden_size, num_heads, batch_first=True)
        self.norm2 = nn.LayerNorm(hidden_size, elementwise_affine=False, eps=1e-6)
        mlp_dim = int(hidden_size * mlp_ratio)
        self.mlp = nn.Sequential(
            nn.Linear(hidden_size, mlp_dim),
            nn.GELU(approximate="tanh"),
            nn.Linear(mlp_dim, hidden_size),
        )
        # 一次性预测 6 组调制参数: (shift_msa, scale_msa, gate_msa, shift_mlp, scale_mlp, gate_mlp)
        self.adaLN_modulation = nn.Sequential(
            nn.SiLU(),
            nn.Linear(hidden_size, 6 * hidden_size),
        )
        # Zero-Initialization: 保证训练初始阶段该块严格为恒等映射
        nn.init.zeros_(self.adaLN_modulation[-1].weight)
        nn.init.zeros_(self.adaLN_modulation[-1].bias)

    def forward(self, x: torch.Tensor, c: torch.Tensor) -> torch.Tensor:
        """
        Args:
            x: [B, N, D] 图像潜在 Patch 序列
            c: [B, D]    融合了时间步 t 与文本/类别的条件向量
        """
        shift_msa, scale_msa, gate_msa, shift_mlp, scale_mlp, gate_mlp = (
            self.adaLN_modulation(c).chunk(6, dim=-1)
        )
        # 1. 自注意力子层 + 零初始化门控残差
        h = modulate(self.norm1(x), shift_msa, scale_msa)
        attn_out, _ = self.attn(h, h, h, need_weights=False)
        x = x + gate_msa.unsqueeze(1) * attn_out

        # 2. 前馈网络子层 + 零初始化门控残差
        h2 = modulate(self.norm2(x), shift_mlp, scale_mlp)
        x = x + gate_mlp.unsqueeze(1) * self.mlp(h2)
        return x


def rectified_flow_loss(
    model_fn,
    x1_clean: torch.Tensor,
    cond: torch.Tensor,
) -> torch.Tensor:
    """
    Rectified Flow / Conditional Flow Matching 训练损失。
    使用 Logit-Normal 时间步采样(SD3 策略)将算力集中于关键中段去噪区间。
    Args:
        x1_clean: [B, N, D] 干净数据潜在表征 (t=1)
        cond:     [B, D]    条件向量
    """
    B = x1_clean.size(0)
    x0_noise = torch.randn_like(x1_clean)  # 纯高斯噪声 (t=0)

    # Logit-Normal 采样比均匀采样更聚焦 t 靠近 0.5 的高信息量区域
    t = torch.sigmoid(torch.randn(B, device=x1_clean.device))  # [B] in (0, 1)
    t_view = t.view(B, 1, 1)

    xt = t_view * x1_clean + (1.0 - t_view) * x0_noise  # 直线插值状态
    target_v = x1_clean - x0_noise                      # 目标恒定速度场

    pred_v = model_fn(xt, t, cond)
    return F.mse_loss(pred_v, target_v)


@torch.no_grad()
def euler_cfg_sample(
    model_fn,
    shape: tuple[int, ...],
    cond: torch.Tensor,
    uncond: torch.Tensor,
    steps: int = 20,
    cfg_scale: float = 5.0,
    device: str = "cpu",
) -> torch.Tensor:
    """带 CFG 无分类器引导的 Rectified Flow 欧拉积分采样。"""
    x = torch.randn(shape, device=device)  # 从 t=0 纯噪声出发
    dt = 1.0 / steps

    for i in range(steps):
        t = torch.full((shape[0],), i * dt, device=device)
        v_cond = model_fn(x, t, cond)
        v_uncond = model_fn(x, t, uncond)
        # 无分类器引导速度场外推
        v_guided = v_uncond + cfg_scale * (v_cond - v_uncond)
        x = x + dt * v_guided
    return x


if __name__ == "__main__":
    block = DiTBlock(hidden_size=256, num_heads=4)
    dummy_model = lambda x, t, c: block(x, c + t.unsqueeze(-1))
    x1 = torch.randn(2, 16, 256)
    c = torch.randn(2, 256)
    loss = rectified_flow_loss(dummy_model, x1, c)
    sample = euler_cfg_sample(dummy_model, (2, 16, 256), c, torch.zeros_like(c), steps=10)
    print(f"Rectified Flow Loss: {loss.item():.4f}, Sample shape: {sample.shape}")

工程实践与常见陷阱 ​

工程实践

  • Logit-Normal 时间步采样与分辨率偏移(Resolution Shifting):在 Rectified Flow 训练中,接近 t=0(纯噪)和 t=1(近乎清晰)的预测过于简单,采用 Logit-Normal 分布集中采样中段 t 可显著提升收敛效率;此外,高分辨率图像信噪比天然高于低分辨率图像,推理与训练时应按 SD3 公式对时间步施加偏移 tm=αt1+(α−1)t(α>1),保证高分图在高噪声阶段得到充分构图去噪。
  • 高通道 VAE 显著缓解细小文字失真:传统 SD1.5 的 4 通道 VAE 重建小号文字与人脸五官常出现涂抹伪影;现代架构(SD3 / Flux)普遍将潜在空间通道数从 Cz=4 扩增至 Cz=16,大幅提升高频重建保真度。
  • 始终维护 EMA(指数移动平均)权重:扩散/流匹配模型单步梯度方差较大,训练时对参数维护衰减率为 0.999–0.9999 的 EMA 副本用于推理,通常能将 FID 指标大幅优化并显著减少画面瑕疵。

常见陷阱

  • CFG 引导尺度过大导致色彩过饱和与伪影:盲目调高 CFG 尺度(如 w>12)会使速度场或噪声预测范数爆炸,造成画面高对比度烧灼感(Oversaturation)与结构畸变;现代 Flux 等蒸馏模型甚至采用内置 Guidance Embedding 替代推理期双倍前向计算 CFG。
  • 遗忘缩放 VAE 潜在变量方差(Scaling Factor):不同 VAE 编码输出的潜在特征标准差并非严格为 1(例如 SD1.5 约为 1/0.18215)。若直接将其与单位高斯噪声 N(0,I) 线性混合,会破坏信噪比调度表导致模型彻底学崩,务必乘以标定缩放因子并减去均值偏移(Shift Factor)。
  • 忽视训练-推理零终端信噪比(Zero Terminal SNR)缺陷:传统线性 βt 调度在 t=T 时 α¯T 并未真正归零,导致模型无法生成纯黑或纯白极暗极亮画面(均值偏移漏洞);采用 Flow Matching 或 Cosine / v-prediction 配合 Zero Terminal SNR 可彻底根治该问题。

延伸阅读与参考论文 ​

  • Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models (DDPM). NeurIPS 2020. arXiv:2006.11239 ↗
  • Song, J., Meng, C., & Ermon, S. (2020). Denoising Diffusion Implicit Models (DDIM). ICLR 2021. arXiv:2010.02502 ↗
  • Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR 2022. arXiv:2112.10752 ↗
  • Ho, J., & Salimans, T. (2022). Classifier-Free Diffusion Guidance. NeurIPS Workshop. arXiv:2207.12598 ↗
  • Liu, X., Gong, C., & Liu, Q. (2022). Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow. ICLR 2023. arXiv:2209.03003 ↗
  • Peebles, W., & Xie, S. (2023). Scalable Diffusion Models with Transformers (DiT). ICCV 2023. arXiv:2212.09748 ↗
  • Esser, P., Kulal, S., Blattmann, A., et al. (2024). Scaling Rectified Flow Transformers for High-Resolution Image Synthesis (SD3). ICML 2024. arXiv:2403.03206 ↗
  • Tian, K., Jiang, Y., Yuan, Z., et al. (2024). Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction (VAR). NeurIPS 2024. arXiv:2404.02905 ↗