Skip to content

离散多模态 Tokenizer(VQ-VAE / VQ-GAN / FSQ / RVQ)

解析图像与音频离散分词:VQ-VAE/GAN、STE、码本坍缩修复、无查表 LFQ/FSQ 与音频多级残差 RVQ。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是离散多模态 Tokenizer?

文本天生由离散的字词组成,但图像像素和语音波形都是连续的模拟信号。离散多模态 Tokenizer(如 VQ-VAE、FSQ、RVQ) 的任务就是把图片块或音频帧压缩、归类到一本有限的“视觉/声学密码本(Codebook)”里,变成和文字一样的离散整数 Token 序列。

一旦图片和声音也被变成了整数 Token,大模型就可以用完全同一套自回归预测“下一个 Token”的架构,同时读懂并生成文字、图片与语音。

01 为什么要发明它:给像素和声波发“身份证号” ​

大语言模型之所以能写诗、写代码、推理数学,全靠一套极其优雅的游戏规则:把一切输入切分成有限词表里的整数编号(Token ID),然后用同一个模型玩“猜下一个编号”的游戏。

文本天生就是离散的,靠 BPE 分词 就能轻松编号。可一旦你想让大模型直接“画出图片”、“吐出语音”或“预测下一秒视频”,麻烦就来了:一张照片是几百万个连续变化的 RGB 像素点,一秒钟音频是几万个连续起伏的声波采样点——它们根本没有现成的“字典”!

离散多模态 Tokenizer(Discrete Multimodal Tokenizer) 干的就是这件事:先用一个神经编码器把冗余的像素或声波狠狠压缩,再通过 矢量量化(Vector Quantization) 把连续特征强制归类到一本有限编号册里。从此,图片和语音也能像汉字一样排成一串整数,直接交给自回归大模型统一处理。

类比 · 潘通色卡册 vs 无级调色盘

连续像素就像一盒能调出无穷多种细微颜色的水彩,画起来自由,却没法报出简洁的代号。VQ-VAE 离散分词器 就像先印制一本包含 8192 张标准色卡的“潘通色卡册(Codebook)”:把画面切成小方格,每格都在色卡册里找颜色最像的那一张,只记录它的编号(如 #3041, #812, #5592...)。只要这本色卡册设计得足够好,你把编号发给远方的解码器,它就能照着编号把整幅画高保真复原出来!

核心设问

“挑最像的色卡编号(arg⁡min)”是个台阶状的离散动作,导数处处为零,根本没法做反向传播训练! 而且一旦色卡扩到几万张,绝大部分色卡会沦为无人问津的“僵尸卡(码本坍缩)”,研究者究竟怎么破解这两大魔咒?

02 核心直觉:从 VQ-VAE 到 FSQ 与 RVQ 的四次破局 ​

破局一:直通估计器(STE)——“前向照挑,反向借道” ​

VQ-VAE(2017) ↗ 发明了一个看似“偷懒”却极其管用的神技:直通估计器(Straight-Through Estimator, STE)。前向传播时老老实实查表换成色卡向量 ek∗;等到 反向传播 算梯度时,假装刚才没做过查表,直接把解码器传回来的梯度原封不动“直通”拷贝给编码器。与此同时,额外加两项拉力损失:一项拽着色卡往特征靠,另一项拽着编码器别乱跑(Commitment Loss)。

破局二:VQ-GAN——别用像素平均糊弄人眼 ​

只拿像素均方误差(MSE)当裁判,模型为了稳妥会输出所有可能纹理的“模糊平均值”。VQ-GAN(2021) ↗ 请来了两位挑剔的艺术评委:感知损失(LPIPS) 检查高层纹理像不像,对抗判别器(PatchGAN) 专门挑刺画面假不假。从此即使把图片长宽各压缩 16 倍(面积缩小 256 倍),还原出的毛发和建筑细节依然锋利。

破局三:码本坍缩治理与 FSQ / LFQ——扔掉色卡册,直接划“立体方格” ​

传统 VQ 有个臭名昭著的顽疾叫码本坍缩(Codebook Collapse):好不容易建了 16384 张色卡,训着训着模型全挤在 200 张热门卡上,剩下 98% 因为从未被选中而永远拿不到梯度,彻底沦为“僵尸卡”。工程师为此发明了 EMA 滑动平均更新、死码复活(Dead-Code Reset)(把长期没人用的色卡直接重置成当前样本特征)和低维 L2 球面归一化等一系列救火补丁。

到了 2023 年,FSQ ↗ 与 MAGVIT-v2 LFQ ↗ 干脆掀了桌子:既然维护色卡册这么累,直接把色卡册扔掉!

类比 · 停车场的“自动坐标网格”

传统 VQ 是让 6 万个色卡点在高维空间里自由漂浮抢地盘,很容易抢输饿死;而 FSQ(有限标量量化) 干脆把特征压到极低维度(比如只有 5 维),每维只切几个固定刻度(比如 [8, 5, 5, 5]),直接把数值四舍五入落进最近的格子点!虽然总共只有 4 个小刻度,组合起来却天然形成 8×5×5×5=1000 个均匀分布的隐式停车位——零查表、零辅助损失、几乎永远 100% 利用率。

破局四:RVQ——给声音做“素描 + 上色 + 精修”的分层打包 ​

一帧声音里同时藏着“说的什么词(语义)”、“谁的声音(音色)”和“房间回声(声学细节)”,单靠一本色卡册根本装不下。EnCodec ↗ 和 SoundStream 提出多级残差矢量量化(RVQ):

类比 · 多层描图纸逐级精修

第一层码本先用粗笔勾出“说了什么字”的大致轮廓;接着拿原声减去第一层画出来的部分,得到剩下的“误差残差”;第二层码本专门量化这份残差,补上说话人的音色;第三到第八层继续一层层把剩下的毛刺、气声和混响补全。最后把每一层的画叠在一起,就是栩栩如生的原声!

03 把关键公式读成人话 ​

先看 VQ-VAE 的核心训练目标与 STE 魔法:

zq=ze+sg(ek∗−ze),LVQ=∥x−D(zq)∥22+∥sg[ze]−ek∗∥22+β∥ze−sg[ek∗]∥22

把公式读成直觉:- 前面那个神奇的加减式 ze+sg(ek∗−ze) 叫 STE 技巧:算数值时 ze 一正一负抵消,结果严格等于查表色卡 ek∗;算导数时 sg(⋅)(阻断梯度)被当成常数求导为 0,于是梯度顺着 ze 畅通无阻流回编码器!

  • 损失函数的后两项是一场双向奔赴:第一项固定编码器,让色卡 ek∗ 主动靠近样本特征;第二项(Commitment Loss)固定色卡,拿一根弹性系数为 β 的橡皮筋拴住编码器,防止它输出满天乱飘导致色卡追不上。

再看音频领域标配的 多级残差量化(RVQ) 递推:

r1=ze,qi=Qi(ri),ri+1=ri−qi,z^q=∑i=1Nqqi

**把公式读成直觉:**第 1 层把原特征 ze 量化成 q1,算算还差多少没表达完(r2=r1−q1),把这团“找零残差”交给第 2 层继续量化,循环 Nq 次(如 8 层),最后全部相加还原。如果网络带宽紧张,只需发前 2 层编号也能听清语义,完美实现“弹性比特率”。

04 它在模型里怎么工作 & 与上下游的关系 ​

离散多模态 Tokenizer 是原生统一多模态(Any-to-Any)架构的“前端转换器”与“后端渲染器”:

  • 上游理论与对偶关系:它本质上是 信息论 率失真压缩的神经版,与文本端的 词嵌入查表 互为镜像——文本是先有 ID 再查向量,多模态是先提特征再反向匹配离散 ID。
  • 视觉与视频下游:VQ-GAN 与 LFQ/FSQ 支撑了 Chameleon 等早期融合 视觉语言模型 以及 扩散与流匹配视觉生成 的时空压缩,让图像和视频块得以像文字一样做自回归预测。
  • 语音与扩散对照:在语音侧,RVQ 直接造就了 EnCodec 与 Mimi 神经编解码器,成为全双工 语音大模型 实时对话的底座;若下游采用连续去噪范式,则会选用连续 KL-VAE 与 扩散和流匹配模型 搭档,形成“离散自回归”与“连续扩散”两大阵营。

05 选型速查与三个避坑备忘 ​

分词器路线显式码本典型词表规模坍缩风险主战场
VQ-VAE (arXiv ↗)需要512∼4096高(需 EMA + 死码重置)离散表征开山鼻祖
VQ-GAN (arXiv ↗)需要1024∼16384中(需 L2 归一化降维)图像自回归生成、原生 VLM
LFQ / FSQ (arXiv ↗)无需1000∼218极低(近 100% 利用率)超大词表图像/视频/具身离散分词
RVQ (arXiv ↗)Nq 层级联8×1024 等中(需 Quantizer Dropout)EnCodec、Mimi 实时语音大模型

三个最容易踩的实战坑:

  1. 重建分高 ≠ 下游更好生成:把词表无脑扩到 10 万虽然能让图片复原得像原图一样清楚,但会让下游 LLM 面对 10 万选 1 的巨难分类任务反而画崩——词表大小必须平衡“压缩保真”与“预测难度”。
  2. 盯紧码本困惑度(Perplexity),别被重建 Loss 骗了:解码器很聪明,哪怕 95% 的色卡全死光,它也能靠剩下 5% 强行凑出不错的重建画面,可一旦拿去训大模型就会瞬间坍塌。
  3. VQ-GAN 的判别器千万别开机就全功率开火:前几万步解码器还在吐噪点,直接上对抗损失会把梯度瞬间炸飞,必须先纯重建热身再拉起 GAN 权重。

需要查阅 EMA 码本更新数学公式、VQ-GAN 自适应对抗权重推导,以及可直接运行的 VectorQuantizer、FiniteScalarQuantizer 与 ResidualVectorQuantizer PyTorch 完整实现?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

文本天然由离散符号构成,经由 分词器 即可映射为整数 ID;但图像像素、音频波形与视频帧本质上是连续、高维且存在巨量局部冗余的物理信号。为了让自回归 Transformer 以“下一个词元预测”的统一范式同时理解并生成图文声视,必须构建离散多模态 Tokenizer(Discrete Multimodal Tokenizer)——通过神经编解码器与向量量化 bottleneck,将连续信号压缩为紧凑的离散索引序列。

直观理解

连续潜在表征像无级调色盘,而离散多模态 Tokenizer 像先定制一本含 K 张标准色卡的“潘通色卡册(Codebook)”。编码器把画面切成小块提取特征,每块在色卡册里找最接近的编号记下来;整张高清照片由此变成一串整数编号,能像文字一样喂给大模型续写,再由解码器按编号还原为像素或波形。

起源背景与演进脉络 ​

早期连续变分自编码器(VAE)输出高斯潜在分布,难以直接接入离散自回归语言模型,且易发生后验坍缩导致生成模糊。自 2017 年起,离散多模态分词技术沿四条主线演进:

  1. VQ-VAE(2017):van den Oord 等人提出可学习离散码本、直通估计器(STE)与承诺损失(Commitment Loss),首次实现端到端离散潜空间学习。
  2. VQ-GAN(2021):Esser 等人引入 LPIPS 感知损失与 PatchGAN 对抗判别器,克服纯 L2 重建发糊顽疾,在 16× 下采样率下仍能还原锐利纹理,成为早期融合 VLM 的标准视觉分词器。
  3. 多级残差矢量量化 RVQ(SoundStream / EnCodec,2021–2022):音频波形兼具高层语义与细微音色,串联多层码本逐级量化残差,在极低比特率下实现高保真音频重建,奠定 语音大模型 编码基石。
  4. 无查表隐式码本 LFQ / FSQ(2023):针对大词表下的码本坍缩与显存开销,MAGVIT-v2 的 LFQ 与 Google 的 FSQ 将低维向量逐维离散化到固定网格,彻底取消显式码本与辅助损失,将有效词表轻松扩至 218 且利用率近 100%。

核心原理与数学推导 ​

1. VQ-VAE:最近邻量化、STE 与三项联合损失 ​

给定输入 x,编码器输出连续特征 ze=E(x)∈RD。维护大小为 K 的可学习码本 E={e1,…,eK}⊂RD,量化算子通过最近邻查表选择码字:

q(ze)=ek∗,k∗=arg⁡mink∈{1,…,K}∥ze−ek∥22

由于 arg⁡min 不可导,反向传播 无法直接穿过量化层。VQ-VAE 采用直通估计器(Straight-Through Estimator, STE),前向取量化结果 ek∗,反向直接把梯度拷贝给 ze:

zq=ze+sg(ek∗−ze)

其中 sg(⋅) 为停止梯度算子(.detach())。配合三项联合目标同时训练编解码器与码本:

LVQ=∥x−D(zq)∥22⏟重建损失+∥sg[ze]−ek∗∥22⏟Codebook Loss+β∥ze−sg[ek∗]∥22⏟Commitment Loss

Codebook Loss 拉近被命中码字向 ze 靠拢;Commitment Loss(典型 β∈[0.25,1.0])约束编码器输出不剧烈漂移,避免码本追不上特征变化。

2. VQ-GAN 的感知与对抗复合目标 ​

为消除均方误差导致的“平均化模糊”,VQ-GAN 结合像素损失、深度感知损失 LLPIPS 与 PatchGAN 对抗损失 LGAN,并用解码器末层 GL 的梯度范数比自适应平衡权重:

LVQGAN=Lrec+LLPIPS+Lcodebook+λLGAN(G,Ddisc),λ=∥∇GLLperceptual∥2∥∇GLLGAN∥2+δ

3. 码本坍缩(Codebook Collapse)与治理机制 ​

标准 VQ-VAE 常因少数码字抢占全部样本,导致 80%∼95% 码字沦为无梯度更新的“死码”,信息熵 骤降。主流治理手段包括:

  • EMA 码本更新:以指数移动平均追踪每个码字命中频次 Nk 与特征和 mk,直接令 ek(t)=mk(t)/Nk(t) 替代梯度更新;
  • Dead-Code Reset(死码复活):定期用当前 Batch 随机编码特征覆盖长期未命中的死码;
  • 低维 L2 归一化投影:将特征降维至 D=8∼32 并做单位球面归一化,以余弦相似度替代高维欧氏距离;
  • 熵正则(Entropy Penalty):同时鼓励单样本分配锐利(低条件熵)与全局码本均匀使用(高边缘熵)。

4. 无查表量化(LFQ / FSQ)与多级残差量化(RVQ) ​

LFQ(MAGVIT-v2) 将潜在维度压至 d=log2⁡K,逐维取符号 sign(zi)∈{−1,+1} 构成超立方体隐式词表;FSQ(Finite Scalar Quantization) 为低维向量 z∈Rd 每维设定少量离散电平 L=[L1,…,Ld](隐式词表 K=∏iLi),经有界压缩后直接四舍五入并施加 STE:

z^i=round(⌊Li2⌋tanh⁡(zi)),z~i=f(zi)+sg(z^i−f(zi))

FSQ 零显式码本、零辅助损失,在 K=216 时仍保持近 100% 利用率。而在高码率音频编码中,RVQ(Residual Vector Quantization) 级联 Nq 个小码本逐级拟合剩余残差:

r1=ze,qi=Qi(ri),ri+1=ri−qi,z^q=∑i=1Nqqi

浅层码本捕获语义与基频轮廓,深层码本补齐谐波与环境声;配合训练期随机截断的 Quantizer Dropout 可实现单模型弹性码率切换。

架构与数据流图 ​

图表加载中...

主流离散多模态 Tokenizer 横向对比 ​

方法码本机制典型词表规模 K码本利用率与坍缩风险典型应用与代表模型
VQ-VAE显式可学习码本 + STE512∼4096易坍缩,需 EMA + 死码重置早期图像/语音离散表征
VQ-GAN显式码本 + LPIPS + PatchGAN1024∼16384中等,需低维 L2 归一化稳训Chameleon、LlamaGen、早期融合 VLM
LFQ (MAGVIT-v2)无查表二值超立方体 {−1,+1}d214∼218极高(配熵正则近 100%)MAGVIT-v2 视频/图像生成
FSQ无查表多电平标量网格 ∏Li1000∼65536近 100%,零辅助损失极稳改进 MaskGIT、视频/具身离散分词
RVQNq 层级联残差码本Nq×1024(如 8×1024)需 Quantizer Dropout 防深层退化SoundStream、EnCodec、Mimi 音频编解码

核心 PyTorch 参考实现 ​

python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F


class VectorQuantizer(nn.Module):
    """标准 VQ-VAE 量化层:近邻查表、STE 梯度回传与 Commitment Loss。"""

    def __init__(self, num_embeddings: int, embedding_dim: int, beta: float = 0.25) -> None:
        super().__init__()
        self.embedding_dim = embedding_dim
        self.beta = beta
        self.codebook = nn.Embedding(num_embeddings, embedding_dim)
        nn.init.uniform_(self.codebook.weight, -1.0 / num_embeddings, 1.0 / num_embeddings)

    def forward(self, z_e: torch.Tensor) -> tuple[torch.Tensor, torch.Tensor, torch.Tensor]:
        flat = z_e.reshape(-1, self.embedding_dim)
        dists = (
            flat.pow(2).sum(dim=1, keepdim=True)
            + self.codebook.weight.pow(2).sum(dim=1)
            - 2.0 * flat @ self.codebook.weight.t()
        )
        indices = torch.argmin(dists, dim=1)
        z_q = self.codebook(indices).view_as(z_e)
        vq_loss = F.mse_loss(z_q, z_e.detach()) + self.beta * F.mse_loss(z_e, z_q.detach())
        z_q_ste = z_e + (z_q - z_e).detach()
        return z_q_ste, indices.view(z_e.shape[:-1]), vq_loss


class FiniteScalarQuantizer(nn.Module):
    """FSQ(Mentzer et al., 2023):无需显式码本与任何辅助损失的标量网格量化。"""

    def __init__(self, levels: list[int]) -> None:
        super().__init__()
        self.register_buffer("levels", torch.tensor(levels, dtype=torch.int32))
        self.register_buffer("basis", torch.cumprod(torch.tensor([1] + levels[:-1], dtype=torch.int32), dim=0))
        self.codebook_size = math.prod(levels)

    def forward(self, z: torch.Tensor) -> tuple[torch.Tensor, torch.Tensor]:
        half_l = (self.levels - 1) * (1.0 - 1e-3) / 2.0
        offset = torch.where(self.levels % 2 == 0, 0.5, 0.0)
        bounded = torch.tanh(z + torch.tan(offset / half_l)) * half_l - offset
        quantized = bounded + (torch.round(bounded) - bounded).detach()
        half_w = self.levels // 2
        indices = ((torch.round(bounded) + half_w).to(torch.int32) * self.basis).sum(dim=-1)
        return quantized / half_w, indices


class ResidualVectorQuantizer(nn.Module):
    """RVQ:音频编解码器(EnCodec / Mimi)核心多级残差矢量量化模块。"""

    def __init__(self, num_quantizers: int, codebook_size: int, dim: int) -> None:
        super().__init__()
        self.quantizers = nn.ModuleList([VectorQuantizer(codebook_size, dim) for _ in range(num_quantizers)])

    def forward(self, z_e: torch.Tensor, n_q: int | None = None) -> tuple[torch.Tensor, torch.Tensor, torch.Tensor]:
        residual, q_sum, total_loss = z_e, torch.zeros_like(z_e), z_e.new_tensor(0.0)
        all_idx: list[torch.Tensor] = []
        for q_layer in self.quantizers[: (n_q or len(self.quantizers))]:
            q_out, idx, loss = q_layer(residual)
            residual = residual - q_out.detach()
            q_sum = q_sum + q_out
            total_loss = total_loss + loss
            all_idx.append(idx)
        return q_sum, torch.stack(all_idx, dim=0), total_loss


if __name__ == "__main__":
    x = torch.randn(2, 16, 32)
    zq, idx, vq_loss = VectorQuantizer(512, 32)(x)
    zq_f, idx_f = FiniteScalarQuantizer([8, 5, 5, 5])(torch.randn(2, 16, 4))
    zq_r, idx_r, rvq_loss = ResidualVectorQuantizer(4, 1024, 32)(x)
    print(f"VQ Loss={vq_loss.item():.4f} | FSQ idx range=[{idx_f.min()},{idx_f.max()}] | RVQ shape={idx_r.shape}")

工程实践与常见陷阱 ​

工程实践

  1. 重建质量与生成难度的权衡:词表越大(如 65536)或下采样率越低(8×),像素重建 rFID 越优,但下游自回归 Transformer 预测离散 Token 的交叉熵难度反而上升;主流视觉自回归模型常将词表控制在 8192∼16384,并优先采用低维投影或语义蒸馏的 Tokenizer。
  2. 语义蒸馏兼顾理解与生成:纯像素重建导向的 VQ-GAN 偏向高频局部纹理,理解能力弱于 CLIP;前沿方案(如音频 Mimi 对齐 WavLM、视觉侧对齐 CLIP 特征蒸馏)显式约束第 1 级码本保留高层语义,其余码本补全高频细节。
  3. 离散 VQ vs 连续 KL-VAE 选型:若下游为 扩散模型与流匹配,应选用连续 KL-VAE 规避量化误差;若追求统一离散自回归多模态(原生 Omni 或实时语音),则首选 FSQ/LFQ 或语义增强型 RVQ。

常见陷阱

  1. 忽略码本困惑度(Perplexity)监控:即便 95% 码字已死亡,强解码器仍可能靠少数活跃码字拼出不错重建分,但下游 LLM 会彻底学崩;必须实时监控利用率与 exp⁡(H(p))。
  2. VQ-GAN 判别器启动过早导致发散:训练初期解码器输出接近噪声,立刻开启对抗损失易引爆梯度;须先纯重建预热 10k–50k 步再启动 PatchGAN。
  3. RVQ 缺少 Quantizer Dropout 引发浅层空心化:训练时若始终全开 Nq 层,编码器会把核心语义推往深层残差,破坏前几层独立可读性并加大下游并行预测难度。

延伸阅读与参考论文 ​

  • van den Oord, A., Vinyals, O., & Kavukcuoglu, K. (2017). Neural Discrete Representation Learning (VQ-VAE). NeurIPS 2017. arXiv:1711.00937 ↗
  • Esser, P., Rombach, R., & Ommer, B. (2021). Taming Transformers for High-Resolution Image Synthesis (VQ-GAN). CVPR 2021. arXiv:2012.09841 ↗
  • Zeghidour, N., et al. (2021). SoundStream: An End-to-End Neural Audio Codec. IEEE/ACM TASLP. arXiv:2107.03312 ↗
  • Défossez, A., et al. (2022). High Fidelity Neural Audio Compression (EnCodec). TMLR 2023. arXiv:2210.13438 ↗
  • Mentzer, F., et al. (2023). Finite Scalar Quantization: VQ-VAE Made Simple (FSQ). ICLR 2024. arXiv:2309.15505 ↗
  • Yu, L., et al. (2023). Language Model Beats Diffusion — Tokenizer is Key to Visual Generation (MAGVIT-v2 / LFQ). ICLR 2024. arXiv:2310.05737 ↗