Skip to content

概率推断、最大似然估计与变分下界(ELBO)

推导 MLE、变分下界 ELBO、重参数化与重要性采样,贯通 LLM、扩散模型与 RLHF 概率底座。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是「概率推断、MLE 与变分下界(ELBO)」?

概率推断是用概率分布去描述世界并从已知数据反推未知原因的数学框架:当数据完全可见时,让真实样本概率最大化就是最大似然估计(MLE)(也就是大模型预训练用的交叉熵损失);当数据背后藏着看不见的隐含状态、直接算总概率算不动时,就构造一个好算的“保底分数”——变分下界(ELBO),靠不断推高这个保底分把整个生成模型(VAE、扩散模型、扩散 LLM)一路托起来。

01 为什么搞懂 ELBO,就打通了大半个生成式 AI? ​

很多人学 AI 时总觉得各路技术像散落的孤岛:大语言模型在算交叉熵、画画的 扩散模型 在预测噪声、强化学习对齐 RLHF / PPO 在乘概率比率……它们好像各玩各的。

但把包装纸撕开,底层居然站在同一块地基上:如何让模型学出的概率分布 pθ(x) 尽量贴近真实世界的数据分布。

如果是自回归大语言模型,句子里的每个词都在眼前排排坐,我们直接用链式法则把整句话拆成“已知前文猜下一个词”,一步一步算交叉熵就行——这就是最爽快的精确最大似然(MLE)。可一旦问题里多出一个“看不见的幕后推手”(潜变量 z),比如一张画背后的构图构思、扩散模型里几百步加噪的中间过程、或者人类写代码前脑子里的隐式草稿,麻烦就来了:要算真实概率 pθ(x),理论上你得把宇宙中所有可能的幕后草稿 z 全都积分加一遍——这在几千维空间里彻底算不动!

核心设问

面对算不动的“无穷草稿总积分”,怎么绕过死胡同继续训练深度生成模型?把随机采样放进神经网络后,梯度卡死在采样节点上怎么穿透?更进一步,如果采样时用的分布和想评估的分布不是同一个,怎么无偏地纠偏?

02 三个生活类比:保底评分、拆分骰子与“借票折算” ​

类比一:为什么 ELBO 能替算不动的真实似然打工? ​

类比 · 音乐制作人的“保底打分表”

假设你拿到一段动人的成品音频 x,想评估一套作曲系统有多强(真实似然 log⁡pθ(x)),但音频背后藏着看不见的编曲草稿 z。要算精确得分,你必须把全世界所有可能的草稿挨个试一遍再求和——一万年也算不完。

Kingma & Welling (2013) ↗ 的绝妙思路是:干脆请一位“听音反推助手”(编码器 qϕ(z∣x)),先根据音频猜出最靠谱的那一小撮草稿,然后只看两件事打一个保底分(ELBO):

  1. 重建分:拿猜出来的草稿重新合成音频,还原得越逼真,加分越多;
  2. 纪律扣分(KL 正则):草稿必须遵守简洁规范的“先验格式”(不能每首歌瞎编一套怪暗号),越离谱扣分越狠。

数学保证:这个保底分永远不会超过真实总分。于是只要拼命把保底分往上顶,真实总分就会被结结实实地架着一路水涨船高!

类比二:重参数化技巧——怎么对“掷骰子”求导? ​

反向传播要求每一步都能求导,可编码器算出均值 μ 和标准差 σ 之后,要随机“掷骰子”采出一个 z∼N(μ,σ2)。梯度撞到随机采样节点直接断线,怎么办?

类比 · 把“随机性”甩给场外骰子

与其让网络内部自己摇一个带参数的魔改骰子,不如把骰子移到计算图外面:先从标准正态分布摇出一个纯客观的场外随机数 ϵ,再回到网络里做一条纯加法和乘法的确定性流水线:z=μ+σ⋅ϵ。

这一挪动简直神来之笔:随机性全被隔离在无须求导的旁支 ϵ 上,主干道只剩普通的加减乘除,反向传播 的梯度瞬间丝滑穿透 μ 和 σ!

类比三:重要性采样——拿旧民调推算新民意 ​

类比 · 按人群比例折算权重

你想统计全城人对新电影的评分(目标分布 p),但手里只有昨天在科幻迷俱乐部采样的问卷(提议分布 q)。不能直接求平均,因为科幻迷占比偏高。解决办法很简单:给每份问卷乘一个纠偏权重 w=p(x)/q(x)——在俱乐部里过多的人降权,代表不足的人加权。只要样本覆盖得够宽,折算完的加权平均就严格等于全城真实民意!这就是重要性采样,也是 PPO、GRPO 等离策略强化学习能复用旧轨迹数据的底层秘密。

03 把关键公式读成人话 ​

先看整篇概率生成理论最核心的恒等式(ELBO 与真实对数似然的精确关系):

log⁡pθ(x)=Eqϕ(z∣x)[log⁡pθ(x∣z)]−DKL(qϕ(z∣x)‖p(z))⏟LELBO(θ,ϕ;x)+DKL(qϕ(z∣x)‖pθ(z∣x))

**把 ELBO 恒等式读成直觉:**把这条公式拆成三段来看,一切疑云立刻散开:

  • 最左边 log⁡pθ(x):我们梦寐以求、却因高维积分算不动的“真实成绩”;
  • 中间 LELBO:我们真正放进 PyTorch 里优化的“保底分”——前面一项逼着模型把数据重建准确,后面减去的 KL 散度逼着隐空间规整连续(不能把每个样本孤立地死记成离散针尖,否则随便采样就生成乱码);
  • 最右边 DKL(qϕ‖pθ):因为 KL 散度 永远大于等于 0,它就是保底分和真实分之间的差距。优化 ELBO 时,这个差距越挤越小,编码器 qϕ 就越逼近上帝视角的真实后验!

再看跨分布纠偏的重要性采样公式:

Ex∼p[f(x)]=Ex∼q[p(x)q(x)f(x)]

**把重要性采样读成直觉:**想算“新策略 p 的期望表现”,但数据是“旧策略 q 跑出来的”,只需把每条样本的得分乘上新旧概率比值 p(x)/q(x)。在 PPO (2017) ↗ 里,这个比值就是大名鼎鼎的 rt(θ)=πθ/πθold;而在 IWAE (2015) ↗ 里,多抽 K 个潜变量取重要性加权平均,就能把 ELBO 下界收得无限贴近真实似然。

04 它在现代大模型里怎么工作? ​

别以为 ELBO 只是十年前 VAE 的老古董,它其实悄悄串起了整个现代生成模型版图:

  • LLM 预训练是它的“无潜变量特例”:在 预训练目标(CLM) 中,所有词元都可观测,不需要变分近似,MLE 直接退化为交叉熵;而给参数加上高斯先验后的最大后验估计(MAP),就是大家天天用的 Weight Decay(L2 正则)。
  • 扩散模型(DDPM)是多层 ELBO 的巅峰:DDPM (2020) ↗ 把图像逐步加噪的几百个中间状态看作一串潜变量,推导出的分层 ELBO 化简后,竟然就是大家熟知的“预测每一步高斯噪声的均方误差”!连最新的 离散扩散语言模型 也是靠推导离散掩码 ELBO 实现并行吐字。
  • 强化学习对齐靠的是离散采样 + 重要性采样:大语言模型吐词是离散选 Token,没法直接用高斯重参数化,所以 RLHF / PPO 和 GRPO / RLVR 改用得分函数(REINFORCE)配合重要性采样比率,再用 Clip 裁剪按住方差不炸。

05 速查对照表 & 常见避坑 ​

场景核心武器一句话直觉典型坑点
自回归文本预训练精确 MLE(交叉熵)每个词都看得见,直接最大化真实词概率词表大时需 LogSumExp 防溢出
连续隐空间生成(VAE)ELBO + 重参数化保底重建分减去先验 KL,骰子移到场外解码器太强易触发“后验坍缩”
图像/文本扩散模型分层加权 ELBO把去噪轨迹当潜变量链,逐层压低变分上界采样步数多,推理延迟偏高
大模型 RL 对齐REINFORCE + 重要性采样离散词无法重参数化,借旧轨迹乘比率纠偏新旧策略差太远会导致权重方差爆炸

实战三条避坑备忘:

  1. 小心“后验坍缩(Posterior Collapse)”:当解码器本身很强(比如用 Transformer 当解码器)时,模型会偷懒把 KL 压到 0、彻底无视潜变量 z。工程上通常用 KL Warmup(渐进升温),先让模型把信息塞进隐空间再慢慢加正则。
  2. 离散采样别硬套重参数化:文本词元采样是不可导的硬跳变,别幻想直接对 argmax 求导,乖乖用 Gumbel-Softmax、直通估计器(STE)或强化学习策略梯度。
  3. 盯紧重要性采样的“有效样本量”:离策略训练时,如果某几条轨迹的新旧概率比值 p/q 暴涨到几百倍,整个批次的梯度其实全被那两三条样本劫持了——这正是 PPO 死守 clip(1 - eps, 1 + eps) 的保命原因。

需要查阅 Jensen 不等式完整推导、IWAE 多样本紧下界公式以及带有效样本量(ESS)诊断的完整 PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

现代生成式人工智能——无论是自回归大语言模型(LLM)、变分自编码器(VAE)、扩散与流模型,还是强化学习对齐算法(RLHF / PPO、GRPO)——本质上都在解决同一个统计学母问题:给定观测数据,如何对高维复杂概率分布进行建模、参数估计与后验推断。从贝叶斯定理出发,直接可算的场景导出最大似然估计(MLE);引入隐变量导致边际似然不可算的场景导出变分下界(Evidence Lower Bound, ELBO);而面对期望梯度与分布漂移,则衍生出重参数化技巧(Reparameterization Trick) 与重要性采样(Importance Sampling)。

直观理解

可以把生成模型想象成一位试图复原失传乐谱的作曲家:最大似然(MLE) 适用于直接看到完整乐谱(显式观测序列),只需不断调整作曲规则让真实乐谱出现的概率最大;而当音乐背后藏着看不见的“情感/曲式草稿”(潜变量 z)时,穷举所有草稿去算总概率根本算不动,于是 ELBO 退而求其次——一边学着从声音反推草稿分布,一边确保草稿贴近简洁先验,只要把这条“保底得分下界”顶得足够高,真实似然就会被水涨船高地推上去。

起源背景与演进脉络 ​

在经典统计学习中,最大似然估计(Maximum Likelihood Estimation, MLE) 与 贝叶斯推断(Bayesian Inference) 构成参数估计的两大支柱。对于完全可观测的自回归文本序列 x=(x1,…,xT),链式法则将联合概率精确拆解为条件概率之积,使 LLM 得以直接通过交叉熵做精确 MLE。

然而,当模型包含不可观测的潜变量(Latent Variable) z(例如图像的语义隐码、扩散模型中逐步加噪的中间状态 x1:T、或思维链中的隐式推理轨迹)时,真实边际似然 pθ(x)=∫pθ(x,z)dz 涉及高维非线性积分,既无解析解,也无法用朴素蒙特卡洛估计(高维空间中绝大多数随机采样的 z 对应 pθ(x∣z)≈0)。

1990 年代末至 2000 年代,Jordan 等人系统化发展了变分推断(Variational Inference, VI),用易于优化的近似分布 q(z) 逼近真实后验 pθ(z∣x)。2013 年,Kingma & Welling(VAE)与 Rezende 等人提出摊销变分推断(Amortized VI) 与重参数化技巧,用神经网络编码器 qϕ(z∣x) 替代逐样本优化,将变分下界(ELBO)无缝接入现代 反向传播 与随机梯度下降体系。此后,DDPM 证明去噪扩散训练等价于分层 ELBO 优化,离散扩散 LLM 与现代 强化学习对齐 也持续建立在 ELBO 与重要性采样的共同数学底座之上。

核心原理与数学推导 ​

1. 联合分布、贝叶斯定理与 MLE—交叉熵等价性 ​

设观测数据 x 与潜变量 z 服从参数为 θ 的联合分布 pθ(x,z),贝叶斯定理给出先验、似然、证据(边际似然)与后验的精确关系:

pθ(z∣x)=pθ(x,z)pθ(x)=pθ(x∣z)p(z)∫pθ(x∣z′)p(z′)dz′

当无潜变量时,给定独立同分布样本 D={x(i)}i=1N,最大似然估计(MLE) 与带先验 p(θ) 的最大后验估计(MAP) 分别定义为:

θMLE=arg⁡minθEx∼p^data[−log⁡pθ(x)],θMAP=arg⁡maxθ[∑i=1Nlog⁡pθ(x(i))+log⁡p(θ)]

结合 信息论基础 中 H(p^data,pθ)=H(p^data)+DKL(p^data‖pθ),MLE 严格等价于最小化交叉熵与 Forward KL 散度;而对 MAP 施加零均值各向同性高斯先验 p(θ)=N(0,σ2I) 时,log⁡p(θ)∝−12σ2∥θ∥22,正好导出深度学习中的 L2 权重衰减(Weight Decay)。

2. 变分下界(ELBO)的两种等价推导 ​

当高维潜变量 z 使 log⁡pθ(x) 与后验 pθ(z∣x) 均不可算时,引入参数为 ϕ 的变分后验 qϕ(z∣x)。由 log 函数的凹性与 Jensen 不等式 log⁡E[Y]≥E[log⁡Y],并将 pθ(x,z)=pθ(x∣z)p(z) 拆解,即得 ELBO 最经典的重建项减去 KL 正则项形式:

log⁡pθ(x)=log⁡∫qϕ(z∣x)pθ(x,z)qϕ(z∣x)dz≥Eqϕ(z∣x)[log⁡pθ(x,z)qϕ(z∣x)]=Eqϕ(z∣x)[log⁡pθ(x∣z)]⏟数据重建似然项(Reconstruction)−DKL(qϕ(z∣x)‖p(z))⏟先验正则项(KL Regularization)≜LELBO(θ,ϕ;x)

从松弛间隙恒等式视角,将 pθ(x)=pθ(x,z)pθ(z∣x) 对 qϕ(z∣x) 取期望可得:

log⁡pθ(x)=LELBO(θ,ϕ;x)+DKL(qϕ(z∣x)‖pθ(z∣x))

因左端与 ϕ 无关且 KL 散度恒非负,最大化 ELBO 同时达成两个目标:固定 θ 优化 ϕ 时迫使 qϕ(z∣x) 贴近真实后验、收紧下界间隙;联合优化 θ 时直接抬高不可算的真实对数边际似然 log⁡pθ(x)。

3. 重参数化技巧与重要性采样 ​

优化 LELBO 时,重构项 Ez∼qϕ(z∣x)[fθ(z)] 的期望下标依赖于待求导参数 ϕ,直接对随机采样节点求导无法通过 反向传播 传递梯度。对此主要有两条路径:

  • 得分函数估计(REINFORCE / Score Function):利用 ∇ϕqϕ=qϕ∇ϕlog⁡qϕ,得到无偏估计 Eqϕ[f(z)∇ϕlog⁡qϕ(z∣x)]。它适用于离散变量(如 LLM 采样 Token 的 RLHF / PPO),但梯度方差极大,需要基线(Baseline)或优势函数降方差。
  • 重参数化技巧(Reparameterization / Pathwise Gradient):将随机性剥离到与参数无关的辅助噪声 ϵ∼p(ϵ) 上。以对角高斯后验 qϕ(z∣x)=N(μϕ(x),diag(σϕ2(x))) 为例:
z=gϕ(ϵ,x)=μϕ(x)+σϕ(x)⊙ϵ,ϵ∼N(0,I)

此时梯度算子可直接移入期望内部:∇ϕEp(ϵ)[f(gϕ(ϵ,x))]=Ep(ϵ)[∇zf⋅∇ϕgϕ],方差大幅降低且仅需单样本 ϵ 即可稳定收敛。

另一方面,当需要计算目标分布 p 下的期望 Ex∼p[f(x)],但只能从提议分布(Proposal Distribution)q 中采样时,重要性采样(Importance Sampling) 给出无偏估计:

Ex∼p[f(x)]=∫q(x)p(x)q(x)f(x)dx=Ex∼q[w(x)f(x)],w(x)=p(x)q(x)

重要性采样在大模型与生成模型中无处不在:其一,IWAE(Importance Weighted Autoencoder) 用 K 次采样的对数均值 log⁡1K∑k=1Kpθ(x,zk)qϕ(zk∣x) 构造严格紧于标准 ELBO 的多样本下界;其二,PPO 与 GRPO 利用旧策略 πθold 采集轨迹更新新策略 πθ,其核心比率 rt(θ)=πθ(at∣st)πθold(at∣st) 正是重要性采样权重(并通过 Clip 裁剪抑制比率爆炸带来的高方差)。

架构 / 数据流图 ​

图表加载中...

相关模式与横向对比表 ​

推断 / 估计范式优化目标梯度估计方式适用模型家族核心局限
精确 MLEmaxθE[log⁡pθ(x)]精确解析反向传播自回归 LLM(CLM)需显式似然,难以直接建模全局潜结构
标准 ELBO(VAE)Eq[log⁡pθ(x∣z)]−DKL(q‖p)重参数化(低方差)VAE、部分多模态表征后验坍缩、高斯假设导致下界松弛
分层 ELBO(Diffusion)∑tE[‖ϵ−ϵθ(xt,t)‖22]前向解析加噪重参数化扩散模型、扩散 LLM采样需多步迭代,推理吞吐低于单步模型
IWAE 多样本下界E[log⁡1K∑k=1Kpθ(x,zk)qϕ(zk∣x)]重要性加权重参数化精确似然评估与密度估计K 增大导致推理网络信噪比下降
REINFORCE + ISEπold[πθπoldA^t]得分函数 + 裁剪比率RLHF / PPO、GRPO高方差,强依赖裁剪与 KL 约束

核心 PyTorch 参考实现 ​

下面通过极简可运行代码演示(1)重参数化高斯 VAE 的单步 ELBO 计算;(2)基于 LogSumExp 的 IWAE K-样本重要性采样紧下界;(3)PPO 风格离策略重要性权重与有效样本量(ESS)诊断。

python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F


class SimpleVAE(nn.Module):
    """极简高斯潜变量 VAE:演示重参数化技巧与 ELBO / IWAE 计算。"""

    def __init__(self, x_dim: int = 32, h_dim: int = 64, z_dim: int = 8):
        super().__init__()
        self.enc = nn.Sequential(nn.Linear(x_dim, h_dim), nn.SiLU())
        self.fc_mu, self.fc_logvar = nn.Linear(h_dim, z_dim), nn.Linear(h_dim, z_dim)
        self.dec = nn.Sequential(nn.Linear(z_dim, h_dim), nn.SiLU(), nn.Linear(h_dim, x_dim))

    def encode(self, x: torch.Tensor) -> tuple[torch.Tensor, torch.Tensor]:
        h = self.enc(x)
        return self.fc_mu(h), self.fc_logvar(h).clamp(-10.0, 10.0)

    def reparameterize(self, mu: torch.Tensor, logvar: torch.Tensor) -> torch.Tensor:
        # 剥离随机性 eps ~ N(0, I),使梯度流经 mu 和 logvar
        return mu + torch.exp(0.5 * logvar) * torch.randn_like(logvar)

    def elbo_loss(self, x: torch.Tensor) -> tuple[torch.Tensor, float, float]:
        mu, logvar = self.encode(x)
        recon_logits = self.dec(self.reparameterize(mu, logvar))
        recon_nll = F.binary_cross_entropy_with_logits(recon_logits, x, reduction="none").sum(-1)
        # 对角高斯到标准正态先验的解析 KL:0.5 * sum(mu^2 + sigma^2 - 1 - log sigma^2)
        kl = 0.5 * (mu.pow(2) + logvar.exp() - 1.0 - logvar).sum(-1)
        return (recon_nll + kl).mean(), recon_nll.mean().item(), kl.mean().item()

    @torch.no_grad()
    def iwae_log_likelihood(self, x: torch.Tensor, k: int = 16) -> float:
        """K 样本重要性采样紧下界(IWAE),K->inf 时收敛至真实 log p(x)。"""
        mu, logvar = self.encode(x)                               # [B, Z]
        std = torch.exp(0.5 * logvar)
        z = mu.unsqueeze(0) + std.unsqueeze(0) * torch.randn(k, *mu.shape, device=x.device)
        logits = self.dec(z)                                      # [K, B, X]
        log_px_z = -F.binary_cross_entropy_with_logits(logits, x.unsqueeze(0).expand_as(logits), reduction="none").sum(-1)
        c = math.log(2.0 * math.pi)
        log_pz = -0.5 * (z.pow(2) + c).sum(-1)
        log_qz_x = -0.5 * (((z - mu.unsqueeze(0)) / std.unsqueeze(0)).pow(2) + logvar.unsqueeze(0) + c).sum(-1)
        return (torch.logsumexp(log_px_z + log_pz - log_qz_x, dim=0) - math.log(k)).mean().item()


def importance_sampling_diagnostics(log_p: torch.Tensor, log_q: torch.Tensor, clip_eps: float = 0.2) -> dict[str, float]:
    """计算重要性采样权重比率、裁剪比例与有效样本量(ESS)。"""
    ratio = torch.exp((log_p - log_q).clamp(-20.0, 20.0))
    w_norm = ratio / (ratio.sum() + 1e-12)
    ess = 1.0 / (w_norm.pow(2).sum() + 1e-12)
    return {
        "mean_ratio": ratio.mean().item(),
        "ess_ratio": (ess / ratio.numel()).item(),
        "clipped_frac": ((ratio - 1.0).abs() > clip_eps).float().mean().item(),
    }


if __name__ == "__main__":
    torch.manual_seed(42)
    model = SimpleVAE(32, 64, 8)
    x_batch = torch.bernoulli(torch.full((64, 32), 0.3))
    neg_elbo, recon, kl = model.elbo_loss(x_batch)
    print(f"ELBO={-neg_elbo.item():.3f} (Recon={recon:.3f}, KL={kl:.3f})")
    print(f"IWAE(K=1)={model.iwae_log_likelihood(x_batch, 1):.3f} <= IWAE(K=32)={model.iwae_log_likelihood(x_batch, 32):.3f}")
    print("IS 诊断:", {k: round(v, 4) for k, v in importance_sampling_diagnostics(torch.randn(1024) * 0.2, torch.zeros(1024)).items()})

工程实践与常见陷阱 ​

工程实践

  1. 在 Log-Space 运算与解析 KL:只要先验与变分后验属于同族解析分布(如高斯对高斯),务必直接套用闭式 KL 公式而非蒙特卡洛采样估算,可显著降低训练方差;涉及 IWAE 或重要性权重求和时,全程使用 torch.logsumexp 防止数值下溢。
  2. KL Annealing 与 Free Bits:在文本 VAE 或多模态潜空间训练初期,强大的自回归解码器极易完全忽略潜变量 z,使 qϕ(z∣x)→p(z)(即后验坍缩,Posterior Collapse)。实践中常用线性/周期性 KL 权重退火(β:0→1)或 Free Bits 机制(为每个潜维度设置最小 KL 阈值 λ)强迫编码器传递有效信息。
  3. 监控有效样本量(ESS):在离策略强化学习(PPO / GRPO)中,重要性比率 wi=exp⁡(log⁡πθ−log⁡πold) 一旦在长序列上呈指数级偏离,有效样本量 ESS=(∑wi)2∑wi2 会骤降至接近 1,意味着整个批次实际只由一两条轨迹主导更新,此时应及时缩减学习率或限制策略更新步数。

常见陷阱

  1. 对离散变量直接套用标准重参数化:文本词元采样 xt∼Cat(π) 是阶跃函数,无法像高斯分布那样直接写出可导重参数化;离散潜变量必须改用 Gumbel-Softmax(Concrete 分布)松弛、直通估计器(STE) 或 REINFORCE / PPO。
  2. 混淆 log⁡σ2 与 σ 导致方差发散:编码器输出 logvar 后若忘记乘 0.5 就取指数,或未对其做 clamp(-10, 10) 截断,前几个步长内 exp(logvar) 就会在 BF16/FP16 下溢出为 inf,进而污染整张计算图。
  3. 忽略重要性采样的支撑集覆盖条件:重要性采样无偏成立的前提是 p(x)>0⟹q(x)>0。若提议分布 q 尾部比目标分布 p 更窄(例如旧策略已坍缩、熵过低),比率 p/q 具有无穷方差,估计值虽理论无偏却会在有限样本下剧烈失真。

参考文献 ​

  • Kingma, D. P., & Welling, M. (2013). Auto-Encoding Variational Bayes. ICLR 2014. arXiv:1312.6114 ↗
  • Rezende, D. J., Mohamed, S., & Wierstra, D. (2014). Stochastic Backpropagation and Approximate Inference in Deep Generative Models. ICML 2014. arXiv:1401.4082 ↗
  • Burda, Y., Grosse, R., & Salakhutdinov, R. (2015). Importance Weighted Autoencoders. ICLR 2016. arXiv:1509.00519 ↗
  • Blei, D. M., Kucukelbir, A., & McAuliffe, J. D. (2017). Variational Inference: A Review for Statisticians. JASA. arXiv:1601.00670 ↗
  • Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS 2020. arXiv:2006.11239 ↗
  • Schulman, J., et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347 ↗