Skip to content

WordPiece、Unigram LM 与 SentencePiece

剖析 WordPiece 似然合并、Unigram EM/Viterbi 切分及 SentencePiece 字节回退。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是 WordPiece 与 Unigram 分词?

WordPiece(BERT 采用)和 Unigram LM(T5、早期 LLaMA / SentencePiece 采用)是与 BPE 并列的另外两大子词分词家族。

三者都在找最合适的子词集合,但方向与打分不同:BPE 按出现频次自底向上“硬拼”;WordPiece 按“拼在一起是否比各自单独出现更划算(互信息/似然增益)”自底向上拼;Unigram 则反过来,先造一个超大候选词表,再用概率模型自顶向下不断删掉对整句概率影响最小的词元,并能为同一句话挑出概率最高的最优切分路径。

01 BPE 哪里不够聪明?另两支子词流派的诞生 ​

虽然 字节级 BPE 凭着简单暴力拿下了 GPT 和 LLaMA 3,但它有两个让语言学家和概率论学者一直耿耿于怀的“死脑筋”毛病:

  1. 只看同框次数,不看真感情:如果两个字符各自都是高频“大忙人”(比如英文里的 e 和 s),哪怕它俩凑一起没啥紧密词素含义,也可能仅凭基数大就被强行焊在一起,挤掉了真正有语义凝聚力的词根(如 bio-、neuro-)。
  2. 一焊定终身,绝不反悔:BPE 是自底向上一步步贪心合并,早期走错一步就再也撤不回,而且推理时对同一个词只能给出一套死板切法。

为了突破这些局限,Google 先后打造了另外两支影响深远的子词流派:WordPiece(Schuster & Nakajima, 2012 ↗,后来成为 BERT, 2019 ↗ 标配)与 Unigram LM(Kudo, 2018 ↗,T5、ALBERT、XLNet 标配),并把它们一起装进了著名开源框架 SentencePiece(Kudo & Richardson, 2018 ↗)。

类比 · 三个脾气迥异的词典编纂官
  • BPE 是只看热度的统计员:“哪两个字挨在一起出现次数最多,我就焊谁!”
  • WordPiece 是更精明的侦探:“光看他俩一起出现多还不够,得除以各自单飞的频率——谁平时几乎形影不离,我就优先合并谁!”
  • Unigram LM 则是搞断舍离的策展人:“我干脆反着来!先造一本几百万词的超大词典,给每个词算好概率,然后反复把‘删掉以后最不心疼’的词淘汰掉,直到刚好瘦身到目标大小。”
核心设问

当分词从“机械按频率拼积木”升级为“用互信息和概率图找全局最优切分”,词表质量会带来什么惊喜?而很多人总挂在嘴边的 SentencePiece,它到底是不是一种独立算法?

02 三个清晰画面:WordPiece、Unigram 与 SentencePiece ​

画面一:WordPiece 的“真爱检测仪”与贪心最长匹配 ​

WordPiece 的训练同样是自底向上合并,但它用 点互信息(PMI) 替换了原始频次。想象班里有两个人:一个是全班每个角落都能撞见的“社交悍匪” e,另一个是几乎只和 u 绑在一起出现的 q。按原始次数算,e 和别人撞见的次数可能比 qu 还多;但一旦除以各自出镜率,qu 的默契度瞬间拉满,立刻被优先合成词元!

推理时 BERT 里的 WordPiece 极其轻快:根本不需要记什么合并顺序表,只要拿着词表从左到右做 贪心最长前缀匹配(MaxMatch),后面的续接子词加上 ## 标记(如 unplayable → ["un", "##play", "##able"])就行。

画面二:Unigram LM 的“迷宫最优路线”与抗噪特训 ​

Unigram LM 把一段文本的所有合法切法看成一张带概率权重的迷宫地图(词格 Lattice),每个子词都自带一个“通行概率” p(xi)。

类比 · 走迷宫找最顺畅的路 + 故意绕路练抗噪

给 Unigram LM 一个长单词,比如 unbelievable,它可以走 un + believable,也可以走 un + believ + able。推理时它用 Viterbi 动态规划 一眼找出总概率乘积最大的那条全局最优路线(不再像贪心算法那样走一步看一步)。

更妙的是,因为手握所有候选路线的概率,训练下游模型时还能开启 子词正则化(Subword Regularization)——故意不总走第一名路线,而是偶尔按概率抽签换几种拆法喂给模型!这相当于给模型做“错别字与拆词抗噪特训”,极大提升了低资源和形态复杂语言的泛化能力(Bostrom & Durrett, 2020 ↗ 也证实 Unigram 切出的子词往往比 BPE 更贴近语言学词根)。

画面三:破除误区——SentencePiece 是“万能工具箱” ​

行业里十个人有八个会把 SentencePiece 当成 Unigram 的别名,其实完全不是!SentencePiece 是一个语言无关的工程框架,内部同时支持 model_type="bpe" 和 model_type="unigram"。(比如 LLaMA 1/2 和 Mistral 7B 用的是 SentencePiece + BPE,T5 用的才是 SentencePiece + Unigram)。

它有两大封神设计:第一,把空格转义成可见符号 ▁(U+2581)当作普通字符一起学,不需要提前按空格分词,天然适配中文、日文、泰文且严格无损可逆;第二,词表里偷偷备了 256 个单字节急救包(`<0x00>` 到 `<0xFF>`),一旦遇到生僻汉字或新 Emoji,自动触发 字节回退(Byte Fallback),彻底告别 `<unk>`。

03 把关键公式读成人话 ​

先看 WordPiece 衡量两个相邻词元是否值得合并的“真爱打分”:

score(a,b)=count(ab)count(a)⋅count(b)⟺log⁡P(ab)P(a)P(b)=PMI(a,b)

**把 WordPiece 准则读成直觉:**分子是“两人同框的次数”,分母是“两人各自出镜次数的乘积”。这在 信息论 里就是大名鼎鼎的 点互信息(PMI):如果分母很大(俩字到处乱串),分数被压低;如果俩字几乎只成双成对出现,分数极高,优先焊成一体。

再看 Unigram LM 推理时求解全局最优切分的 Viterbi 动态规划方程:

dp[j]=max0≤i<jS[i:j]∈V(dp[i]+log⁡p(S[i:j])),dp[0]=0

**把 Viterbi 方程读成直觉:**把原本连乘的概率 P(x)=∏p(xi) 取对数变成连加(既防数值下溢又能直接加总)。dp[j] 记录切到第 j 个字符为止能拿到的最高得分;站在位置 j 往回看所有能凑成词表里合法词元的起点 i,挑“前序最高分 + 这一刀的对数概率”最大的那一步,走完整个句子回溯指针,就拿到全局最优切分,总耗时只有线性级 O(L⋅lmax)。

04 它在模型里怎么工作 & 与上下游的关系 ​

在 分词器总览 的版图里,WordPiece 与 Unigram 补齐了概率化子词建模的关键拼图:

  • 理论与算法呼应:WordPiece 的 PMI 准则与 Unigram 的边缘似然最大化(EM 算法)都直接根植于 信息论与最大似然,并与 字节级 BPE 构成“频率贪心 vs 概率似然”的经典镜像对比。
  • 下游架构搭档:切分后的词元 ID 同样流向 词嵌入层 进入 Transformer 主干。在经典 Encoder-only(BERT)和 Encoder-Decoder(T5 / mT5)时代,WordPiece 与 Unigram 曾是绝对主角;而 SentencePiece 的 ▁ 无损空格与字节回退架构,至今仍活跃在 LLaMA 1/2、Mistral 和 Gemma 的生产管线中。

05 三大子词算法横评与三个避坑备忘 ​

对比维度BPE / Byte-Level BPEWordPieceUnigram LM
构建方向自底向上(贪心合并)自底向上(贪心合并)自顶向下(EM + 迭代剪枝)
选择准则相邻二元组最高频次点互信息(PMI)最大移除后语料似然损失最小
推理切分按训练合并 rank 从小到大归约贪心最长前缀匹配(MaxMatch)Viterbi 动态规划全局最优
多路径采样需额外技巧(BPE-Dropout)不原生支持原生支持 Subword Regularization
代表模型GPT-4、LLaMA 3、Qwen2.5BERT、DistilBERT、ElectraT5、ALBERT、XLNet、mBART
  1. 小心 WordPiece 的“一粒老鼠屎”全词退化:标准 BERT WordPiece 只要一个长词里夹了一个词表没有的冷门符号,MaxMatch 会毫不留情地把整整一个单词判死刑变成 `<unk>`,这也是新一代通用 LLM 逐渐放弃 WordPiece 的主要原因。
  2. 代码大模型千万关掉 SentencePiece 默认 NFKC 归一化:SentencePiece 默认的 nmt_nfkc 会偷偷把上标 x² 改写成 x2、把代码里好端端的连续缩进空格合并成一个!训练代码或数学模型时务必设为 normalization_rule_name="identity" 并强制开启 byte_fallback=True。
  3. 留神“虚拟前缀空格”(add_dummy_prefix):SentencePiece 默认在整段输入最开头自动补一个 ▁,方便让句首词和句中词共用同一个 ID;但在做代码补全拼接(FIM)或把分块文本拼回去时,这个多出来的隐形空格常会引发莫名其妙的格式错位。

需要查阅 Unigram LM 的前向-后向 EM 与删词损失 ΔLk 完整推导,以及可直接运行的 WordPiece MaxMatch 与 Unigram Viterbi + EM 教学 Python 实现?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

虽然 字节级 BPE 统治了当代 GPT 与 LLaMA 家族,但理解 子词分词 的另外两大支柱——WordPiece(BERT、DistilBERT、Electra 标配)与 Unigram Language Model(T5、ALBERT、XLNet、mBART 标配)以及工程框架 SentencePiece(LLaMA 1/2、Gemma、Mistral 底层引擎)——对于深刻把握概率化分词、最优路径切分与多语言鲁棒性至关重要。与 BPE 纯粹依赖局部频率不同,WordPiece 引入了基于 信息论点互信息 的似然增量打分,而 Unigram LM 更进一步,以严谨的概率图模型视角采用“自顶向下剪枝 + EM 优化 + Viterbi 动态规划解码”,最终把切出的离散 ID 序列送入 词嵌入层 与 Transformer 主干。

直观理解

如果把 BPE 比作“只看哪两个零件挨在一起出现次数最多就焊起来”,那么 WordPiece 是更精明的质检员:“不光看你们出现多不多,还要看拆开你们各自出现多不多——如果两个零件平时总是形影不离(互信息高),哪怕绝对次数少点也优先合并”;而 Unigram LM 则反其道而行之:先造一本超大字典,算出每个词的概率,再通过动态规划给每个句子找最省劲的切法,最后不断删掉删了最不心疼的词,直到字典缩到目标大小。

问题动机与演进背景 ​

BPE 存在两个固有理论缺陷:

  1. 盲目偏爱高频单字组合:两个各自极其高频的字符(例如英文中的 e 与 s,或中文常用虚词)即便语义上并无强绑定,也可能仅因独立频率乘积过高而被频繁合并,挤占了真正具有强词素内聚力的低频词根(如 bio-、neuro-)的名额。
  2. 贪心合并路径不可逆且切分唯一:BPE 一旦决定合并某对符号便无法撤回,且推理时对同一单词只能输出唯一确定切分,无法直接评估多种候选切分的概率优劣。

为了解决上述问题,Google 先后提出了 WordPiece(最初用于日韩语音识别,后成为 BERT 标配)与 Unigram LM(由 Taku Kudo 提出并集成于开源库 SentencePiece 中)。值得一提的是,SentencePiece 本身不是某种单一分词算法,而是一个语言无关的分词工程框架,其内部同时支持 BPE 和 Unigram 两种算法。

核心原理与数学推导 ​

1. WordPiece:似然增量与点互信息(PMI)准则 ​

WordPiece 与 BPE 同样采用自底向上(Bottom-Up) 的迭代合并策略,并在非词首子词前添加特殊续接前缀 ##(例如 playing → ["play", "##ing"])。核心差异在于合并目标函数:WordPiece 不直接选择频次最高的相邻对 (a,b),而是选择合并后能使训练语料一元语言模型似然度提升最大的词元对。在简化近似下,其打分公式为:

score(a,b)=count(ab)count(a)⋅count(b)

注意到将分子分母同除以总词元数 N 后:

log⁡P(ab)P(a)P(b)=PMI(a,b)

也就是说,WordPiece 合并准则在数学上等价于最大化相邻词元的点互信息(Pointwise Mutual Information, PMI)!如果 a 与 b 各自在语料中极其常见(分母大),它们的合并得分就会被压低;反之,如果 a 和 b 几乎只成对出现(如 q 和 u),得分极高并优先合并。

推理编码(贪心最长前缀匹配):与 BPE 需保存合并秩表不同,BERT 中的 WordPiece 推理极其轻量——仅需词表集合即可执行贪心最长前缀匹配(MaxMatch):从词首出发,反复匹配当前词表中存在的最长前缀子串;剩余部分加上 ## 前缀继续匹配;若某一步单字符也不在词表中,则整个词回退为 <unk>。

2. Unigram LM:自顶向下剪枝、EM 与 Viterbi 解码 ​

Unigram LM 采取截然相反的自顶向下(Top-Down) 概率建模路线。它假设词元序列 x=(x1,x2,…,xM) 中各个子词相互独立,整句切分的联合概率为各子词概率之积:

P(x)=∏i=1Mp(xi),∑x∈Vp(x)=1

对于输入字符串 S,记其所有合法子词切分方案集合为 S(S)。推理时,Unigram LM 寻找概率最大的最优切分路径:

x∗=arg⁡maxx∈S(S)P(x)=arg⁡maxx∈S(S)∑i=1Mlog⁡p(xi)

该最优化问题天然具有最优子结构,可通过 O(L⋅lmax) 时间复杂度的 Viterbi 动态规划在词格(Lattice)上精确求解(其中 L 为字符长度,lmax 为词表最大词元长度)。设 dp[j] 表示前缀 S[0:j] 的最大对数概率,则状态转移方程为:

dp[j]=max0≤i<jS[i:j]∈V(dp[i]+log⁡p(S[i:j])),dp[0]=0

训练流程(EM 优化 + 迭代剪枝):

  1. 构建超大种子词表 Vseed:从语料提取所有基础字符以及高频子串(如扩展后缀数组提取的数百万候选子词),确保单字符永不被删。
  2. E-step & M-step(期望最大化):固定当前词表 V,利用前向-后向(Forward-Backward)算法计算每个子词在所有可能切分路径中的期望出现次数 e(x),并更新最大似然概率 p(x)(工程中常加 Dirichlet 先验并通过 Digamma 函数 ψ(⋅) 做变分贝叶斯平滑,抑制过拟合):L(V)=∑s∈Dlog⁡(∑x∈S(s)P(x))
  3. 计算删词损失并剪枝:对每个非单字符词元 xk∈V,估算将其移除后整体负对数似然的增量 ΔLk=L(V)−L(V∖{xk})。丢弃 ΔLk 最小(最不重要)的底端 10%∼20% 词元,重复 EM 与剪枝,直到 |V| 收缩至目标词表大小。

此外,由于 Unigram 维护了完整概率分布,训练下游模型时还可启用 子词正则化(Subword Regularization):不总取 Viterbi 唯一最优路径,而是按概率 P(x)α 从前 k 条候选切分中随机采样(如把 unbelievable 有时切作 un + believable,有时切作 un + believ + able),极大提升模型对拼写噪声与形态变化的泛化能力。

3. SentencePiece 框架与字节回退(Byte Fallback) ​

传统分词器默认依赖空格切分单词(如英语),对中文、日语、泰语等无显式空格分隔的语言必须外接繁重的语言专用分词工具。SentencePiece 彻底打破了这一限制:

  • 空格即普通字符:将原始文本中的空白符统一转义为可见元符号 ▁(Unicode U+2581),直接在原始字符流上端到端训练 BPE 或 Unigram 模型,实现完全语言无关且严格可逆的 decode(encode(x)) == x。
  • 字节回退(Byte Fallback):在词表中额外预留 256 个单字节特殊词元(记作 <0x00> 至 <0xFF>)。当遇到未收录的罕见汉字、古文字或新 Emoji 时,不退化为 <unk>,而是自动分解为对应的 UTF-8 字节词元序列,从而在保持直观字符词表的同时实现 0% OOV。LLaMA 1/2、Mistral 7B 与 Gemma 均使用了带字节回退的 SentencePiece 架构。

算法架构 / 数据流图 ​

图表加载中...

复杂度与横向对比表 ​

维度BPE / Byte-Level BPEWordPieceUnigram LM
构建方向自底向上(贪心合并)自底向上(贪心合并)自顶向下(迭代剪枝)
核心优化准则相邻二元组原始频率最大化似然增量 / 点互信息(PMI)最大化整体语料边缘对数似然最大化(EM)
推理切分算法按训练合并秩(rank)从小到大归约贪心最长前缀匹配(MaxMatch)Viterbi 动态规划求全局最优路径
推理时间复杂度O(Llog⁡L)(堆优化)O(L⋅lmax)(Trie 树匹配)O(L⋅lmax)(DP 状态转移)
概率多路径采样需额外技巧(BPE-Dropout)不原生支持原生支持 Subword Regularization
空白处理标记Ġ 映射或原生字节丢弃空格,非首子词加 ##▁(SentencePiece 无损转义)
代表模型GPT-2/3/4、LLaMA 3、Qwen2.5BERT、DistilBERT、ElectraT5、ALBERT、XLNet、mBART

核心 Python 参考实现 ​

下面给出 WordPiece 贪心最长前缀匹配 与 Unigram LM(Viterbi 动态规划解码 + 简化 EM 概率估计) 的自包含可运行代码:

python
import math
from collections import defaultdict


def wordpiece_maxmatch(word: str, vocab: set[str], unk_token: str = "<unk>") -> list[str]:
    """BERT 风格的 WordPiece 贪心最长前缀匹配算法。"""
    tokens: list[str] = []
    start = 0
    n = len(word)
    while start < n:
        end = n
        matched = None
        while start < end:
            substr = word[start:end]
            if start > 0:
                substr = "##" + substr
            if substr in vocab:
                matched = substr
                break
            end -= 1
        if matched is None:
            return [unk_token]
        tokens.append(matched)
        start = end
    return tokens


class SimpleUnigramTokenizer:
    """教学级 Unigram LM 分词器,演示 Viterbi 最优切分与 EM 概率迭代。"""

    def __init__(self, vocab_log_probs: dict[str, float]) -> None:
        self.log_probs = dict(vocab_log_probs)
        self.max_len = max(len(k) for k in self.log_probs)

    def viterbi_tokenize(self, text: str) -> tuple[list[str], float]:
        """O(L * l_max) 动态规划求全局最大概率切分路径。"""
        n = len(text)
        dp = [-math.inf] * (n + 1)
        backptr = [-1] * (n + 1)
        dp[0] = 0.0

        for end in range(1, n + 1):
            start_min = max(0, end - self.max_len)
            for start in range(start_min, end):
                piece = text[start:end]
                if piece in self.log_probs and dp[start] > -math.inf:
                    cand = dp[start] + self.log_probs[piece]
                    if cand > dp[end]:
                        dp[end] = cand
                        backptr[end] = start

        if backptr[n] == -1:
            raise ValueError(f"无法切分文本(缺少基础字符回退): {text!r}")

        # 沿回溯指针还原最优子词序列
        pieces: list[str] = []
        pos = n
        while pos > 0:
            prev = backptr[pos]
            pieces.append(text[prev:pos])
            pos = prev
        pieces.reverse()
        return pieces, dp[n]

    def em_step(self, corpus: list[str], smoothing: float = 1e-3) -> float:
        """简化 Viterbi-EM 迭代更新各子词对数概率,返回语料总对数似然。"""
        counts: dict[str, float] = defaultdict(lambda: smoothing)
        total_ll = 0.0
        for sent in corpus:
            pieces, ll = self.viterbi_tokenize(sent)
            total_ll += ll
            for p in pieces:
                counts[p] += 1.0

        total_count = sum(counts[k] for k in self.log_probs)
        for token in self.log_probs:
            self.log_probs[token] = math.log(counts[token] / total_count)
        return total_ll


if __name__ == "__main__":
    # 1. WordPiece MaxMatch 演示
    wp_vocab = {"un", "play", "##play", "##able", "##ing", "##ed", "re"}
    print("WordPiece 切分 'unplayable':", wordpiece_maxmatch("unplayable", wp_vocab))

    # 2. Unigram LM Viterbi + EM 演示(使用 SentencePiece 风格空格 ▁)
    seed_tokens = [
        "▁", "a", "b", "c", "e", "h", "i", "l", "n", "o", "p", "r", "s", "t", "u", "v",
        "▁un", "un", "able", "believ", "believe", "▁play", "play", "ing",
    ]
    init_lp = {t: math.log(1.0 / len(seed_tokens)) for t in seed_tokens}
    unigram = SimpleUnigramTokenizer(init_lp)

    toy_corpus = ["▁unbelievable", "▁unplayable", "▁playing", "▁believe"] * 3
    for it in range(3):
        ll = unigram.em_step(toy_corpus)
        seg, score = unigram.viterbi_tokenize("▁unbelievable")
        print(f"EM iter {it+1}: total_ll={ll:.2f}, '▁unbelievable' -> {seg} (logP={score:.2f})")

工程实践与常见陷阱 ​

工程实践

  1. 多语言形态丰富任务可优先考察 Unigram:在德语、土耳其语、芬兰语等黏着语以及中英混排的编码器-解码器(如 T5 / mT5)任务中,Unigram LM 往往能切出比 BPE 更贴近语言学词素边界的子词,且结合 Subword Regularization 可显著改善低资源鲁棒性。
  2. 现代 Decoder-only 模型慎用 SentencePiece 默认 NFKC 归一化:SentencePiece 默认开启 nmt_nfkc 规范化,会把全角标点、上标数字(x² → x2)、连续空白强行折叠,这在代码生成与数学公式场景是灾难性的。若使用 SentencePiece 训练代码大模型,务必配置 normalization_rule_name="identity" 并关闭 remove_extra_whitespaces。
  3. 强制开启 byte_fallback=True:使用 SentencePiece 时必须显式启用字节回退,避免生僻汉字、Emoji 或二进制日志片段被静默抹除为 <unk>。

常见陷阱

  1. WordPiece 的全词回退灾难:标准 BERT WordPiece 只要一个长词中混入了一个不在词表中的特殊符号(例如连字符或冷门变音字母),MaxMatch 就会把整个词判为 <unk>,造成大块语义丢失。这也是 WordPiece 逐渐退出新一代通用大语言模型舞台的重要原因。
  2. 混淆 SentencePiece 与 Unigram:行业内常有人把“SentencePiece 分词器”等同于 Unigram,实际上 LLaMA 1/2 与 Mistral 7B 使用的都是 SentencePiece + BPE(model_type="bpe"),而 T5 与 ALBERT 使用的才是 SentencePiece + Unigram(model_type="unigram")。
  3. Dummy Prefix(虚拟前缀空格)引发的首词不一致:SentencePiece 默认开启 add_dummy_prefix=True,会自动在整段输入文本开头补一个 ▁,使句首单词和句中单词映射为同一词元;但做代码 FIM(Fill-in-the-Middle)拼接或在流式解码分段拼接 token 时,虚拟前缀会导致多出额外空格,需要在配置或后处理中精细管控。

延伸阅读与参考论文 ​

  • Schuster, M., & Nakajima, K. (2012). Japanese and Korean Voice Search. ICASSP 2012(首次提出 WordPiece). DOI:10.1109/ICASSP.2012.6289079 ↗
  • Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019. arXiv:1810.04805 ↗
  • Kudo, T. (2018). Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. ACL 2018(提出 Unigram LM 分词算法). arXiv:1804.10959 ↗
  • Kudo, T., & Richardson, J. (2018). SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. EMNLP 2018. arXiv:1808.06226 ↗
  • Bostrom, K., & Durrett, G. (2020). Byte Pair Encoding is Suboptimal for Language Model Pretraining. Findings of EMNLP 2020(系统对比 BPE 与 Unigram 在形态对齐与下游微调上的表现). arXiv:2004.03720 ↗