外观
概念定义 · 什么是 WordPiece 与 Unigram 分词?
WordPiece(BERT 采用)和 Unigram LM(T5、早期 LLaMA / SentencePiece 采用)是与 BPE 并列的另外两大子词分词家族。
三者都在找最合适的子词集合,但方向与打分不同:BPE 按出现频次自底向上“硬拼”;WordPiece 按“拼在一起是否比各自单独出现更划算(互信息/似然增益)”自底向上拼;Unigram 则反过来,先造一个超大候选词表,再用概率模型自顶向下不断删掉对整句概率影响最小的词元,并能为同一句话挑出概率最高的最优切分路径。
01 BPE 哪里不够聪明?另两支子词流派的诞生
虽然 字节级 BPE 凭着简单暴力拿下了 GPT 和 LLaMA 3,但它有两个让语言学家和概率论学者一直耿耿于怀的“死脑筋”毛病:
- 只看同框次数,不看真感情:如果两个字符各自都是高频“大忙人”(比如英文里的
e和s),哪怕它俩凑一起没啥紧密词素含义,也可能仅凭基数大就被强行焊在一起,挤掉了真正有语义凝聚力的词根(如bio-、neuro-)。 - 一焊定终身,绝不反悔:BPE 是自底向上一步步贪心合并,早期走错一步就再也撤不回,而且推理时对同一个词只能给出一套死板切法。
为了突破这些局限,Google 先后打造了另外两支影响深远的子词流派:WordPiece(Schuster & Nakajima, 2012 ↗,后来成为 BERT, 2019 ↗ 标配)与 Unigram LM(Kudo, 2018 ↗,T5、ALBERT、XLNet 标配),并把它们一起装进了著名开源框架 SentencePiece(Kudo & Richardson, 2018 ↗)。
类比 · 三个脾气迥异的词典编纂官
- BPE 是只看热度的统计员:“哪两个字挨在一起出现次数最多,我就焊谁!”
- WordPiece 是更精明的侦探:“光看他俩一起出现多还不够,得除以各自单飞的频率——谁平时几乎形影不离,我就优先合并谁!”
- Unigram LM 则是搞断舍离的策展人:“我干脆反着来!先造一本几百万词的超大词典,给每个词算好概率,然后反复把‘删掉以后最不心疼’的词淘汰掉,直到刚好瘦身到目标大小。”
核心设问
当分词从“机械按频率拼积木”升级为“用互信息和概率图找全局最优切分”,词表质量会带来什么惊喜?而很多人总挂在嘴边的 SentencePiece,它到底是不是一种独立算法?
02 三个清晰画面:WordPiece、Unigram 与 SentencePiece
画面一:WordPiece 的“真爱检测仪”与贪心最长匹配
WordPiece 的训练同样是自底向上合并,但它用 点互信息(PMI) 替换了原始频次。想象班里有两个人:一个是全班每个角落都能撞见的“社交悍匪” e,另一个是几乎只和 u 绑在一起出现的 q。按原始次数算,e 和别人撞见的次数可能比 qu 还多;但一旦除以各自出镜率,qu 的默契度瞬间拉满,立刻被优先合成词元!
推理时 BERT 里的 WordPiece 极其轻快:根本不需要记什么合并顺序表,只要拿着词表从左到右做 贪心最长前缀匹配(MaxMatch),后面的续接子词加上 ## 标记(如 unplayable → ["un", "##play", "##able"])就行。
画面二:Unigram LM 的“迷宫最优路线”与抗噪特训
Unigram LM 把一段文本的所有合法切法看成一张带概率权重的迷宫地图(词格 Lattice),每个子词都自带一个“通行概率”
类比 · 走迷宫找最顺畅的路 + 故意绕路练抗噪
给 Unigram LM 一个长单词,比如 unbelievable,它可以走 un + believable,也可以走 un + believ + able。推理时它用 Viterbi 动态规划 一眼找出总概率乘积最大的那条全局最优路线(不再像贪心算法那样走一步看一步)。
更妙的是,因为手握所有候选路线的概率,训练下游模型时还能开启 子词正则化(Subword Regularization)——故意不总走第一名路线,而是偶尔按概率抽签换几种拆法喂给模型!这相当于给模型做“错别字与拆词抗噪特训”,极大提升了低资源和形态复杂语言的泛化能力(Bostrom & Durrett, 2020 ↗ 也证实 Unigram 切出的子词往往比 BPE 更贴近语言学词根)。
画面三:破除误区——SentencePiece 是“万能工具箱”
行业里十个人有八个会把 SentencePiece 当成 Unigram 的别名,其实完全不是!SentencePiece 是一个语言无关的工程框架,内部同时支持 model_type="bpe" 和 model_type="unigram"。(比如 LLaMA 1/2 和 Mistral 7B 用的是 SentencePiece + BPE,T5 用的才是 SentencePiece + Unigram)。
它有两大封神设计:第一,把空格转义成可见符号 ▁(U+2581)当作普通字符一起学,不需要提前按空格分词,天然适配中文、日文、泰文且严格无损可逆;第二,词表里偷偷备了 256 个单字节急救包(`<0x00>` 到 `<0xFF>`),一旦遇到生僻汉字或新 Emoji,自动触发 字节回退(Byte Fallback),彻底告别 `<unk>`。
03 把关键公式读成人话
先看 WordPiece 衡量两个相邻词元是否值得合并的“真爱打分”:
**把 WordPiece 准则读成直觉:**分子是“两人同框的次数”,分母是“两人各自出镜次数的乘积”。这在 信息论 里就是大名鼎鼎的 点互信息(PMI):如果分母很大(俩字到处乱串),分数被压低;如果俩字几乎只成双成对出现,分数极高,优先焊成一体。
再看 Unigram LM 推理时求解全局最优切分的 Viterbi 动态规划方程:
**把 Viterbi 方程读成直觉:**把原本连乘的概率 dp[j] 记录切到第 j 个字符为止能拿到的最高得分;站在位置 j 往回看所有能凑成词表里合法词元的起点 i,挑“前序最高分 + 这一刀的对数概率”最大的那一步,走完整个句子回溯指针,就拿到全局最优切分,总耗时只有线性级
04 它在模型里怎么工作 & 与上下游的关系
在 分词器总览 的版图里,WordPiece 与 Unigram 补齐了概率化子词建模的关键拼图:
- 理论与算法呼应:WordPiece 的 PMI 准则与 Unigram 的边缘似然最大化(EM 算法)都直接根植于 信息论与最大似然,并与 字节级 BPE 构成“频率贪心 vs 概率似然”的经典镜像对比。
- 下游架构搭档:切分后的词元 ID 同样流向 词嵌入层 进入 Transformer 主干。在经典 Encoder-only(BERT)和 Encoder-Decoder(T5 / mT5)时代,WordPiece 与 Unigram 曾是绝对主角;而 SentencePiece 的
▁无损空格与字节回退架构,至今仍活跃在 LLaMA 1/2、Mistral 和 Gemma 的生产管线中。
05 三大子词算法横评与三个避坑备忘
| 对比维度 | BPE / Byte-Level BPE | WordPiece | Unigram LM |
|---|---|---|---|
| 构建方向 | 自底向上(贪心合并) | 自底向上(贪心合并) | 自顶向下(EM + 迭代剪枝) |
| 选择准则 | 相邻二元组最高频次 | 点互信息(PMI)最大 | 移除后语料似然损失最小 |
| 推理切分 | 按训练合并 rank 从小到大归约 | 贪心最长前缀匹配(MaxMatch) | Viterbi 动态规划全局最优 |
| 多路径采样 | 需额外技巧(BPE-Dropout) | 不原生支持 | 原生支持 Subword Regularization |
| 代表模型 | GPT-4、LLaMA 3、Qwen2.5 | BERT、DistilBERT、Electra | T5、ALBERT、XLNet、mBART |
- 小心 WordPiece 的“一粒老鼠屎”全词退化:标准 BERT WordPiece 只要一个长词里夹了一个词表没有的冷门符号,MaxMatch 会毫不留情地把整整一个单词判死刑变成
`<unk>`,这也是新一代通用 LLM 逐渐放弃 WordPiece 的主要原因。 - 代码大模型千万关掉 SentencePiece 默认 NFKC 归一化:SentencePiece 默认的
nmt_nfkc会偷偷把上标x²改写成x2、把代码里好端端的连续缩进空格合并成一个!训练代码或数学模型时务必设为normalization_rule_name="identity"并强制开启byte_fallback=True。 - 留神“虚拟前缀空格”(
add_dummy_prefix):SentencePiece 默认在整段输入最开头自动补一个▁,方便让句首词和句中词共用同一个 ID;但在做代码补全拼接(FIM)或把分块文本拼回去时,这个多出来的隐形空格常会引发莫名其妙的格式错位。
需要查阅 Unigram LM 的前向-后向 EM 与删词损失
完整推导,以及可直接运行的 WordPiece MaxMatch 与 Unigram Viterbi + EM 教学 Python 实现?按快捷键 M或点击顶部技术 Wiki即可随时切换。
虽然 字节级 BPE 统治了当代 GPT 与 LLaMA 家族,但理解 子词分词 的另外两大支柱——WordPiece(BERT、DistilBERT、Electra 标配)与 Unigram Language Model(T5、ALBERT、XLNet、mBART 标配)以及工程框架 SentencePiece(LLaMA 1/2、Gemma、Mistral 底层引擎)——对于深刻把握概率化分词、最优路径切分与多语言鲁棒性至关重要。与 BPE 纯粹依赖局部频率不同,WordPiece 引入了基于 信息论点互信息 的似然增量打分,而 Unigram LM 更进一步,以严谨的概率图模型视角采用“自顶向下剪枝 + EM 优化 + Viterbi 动态规划解码”,最终把切出的离散 ID 序列送入 词嵌入层 与 Transformer 主干。
直观理解
如果把 BPE 比作“只看哪两个零件挨在一起出现次数最多就焊起来”,那么 WordPiece 是更精明的质检员:“不光看你们出现多不多,还要看拆开你们各自出现多不多——如果两个零件平时总是形影不离(互信息高),哪怕绝对次数少点也优先合并”;而 Unigram LM 则反其道而行之:先造一本超大字典,算出每个词的概率,再通过动态规划给每个句子找最省劲的切法,最后不断删掉删了最不心疼的词,直到字典缩到目标大小。
问题动机与演进背景
BPE 存在两个固有理论缺陷:
- 盲目偏爱高频单字组合:两个各自极其高频的字符(例如英文中的
e与s,或中文常用虚词)即便语义上并无强绑定,也可能仅因独立频率乘积过高而被频繁合并,挤占了真正具有强词素内聚力的低频词根(如bio-、neuro-)的名额。 - 贪心合并路径不可逆且切分唯一:BPE 一旦决定合并某对符号便无法撤回,且推理时对同一单词只能输出唯一确定切分,无法直接评估多种候选切分的概率优劣。
为了解决上述问题,Google 先后提出了 WordPiece(最初用于日韩语音识别,后成为 BERT 标配)与 Unigram LM(由 Taku Kudo 提出并集成于开源库 SentencePiece 中)。值得一提的是,SentencePiece 本身不是某种单一分词算法,而是一个语言无关的分词工程框架,其内部同时支持 BPE 和 Unigram 两种算法。
核心原理与数学推导
1. WordPiece:似然增量与点互信息(PMI)准则
WordPiece 与 BPE 同样采用自底向上(Bottom-Up) 的迭代合并策略,并在非词首子词前添加特殊续接前缀 ##(例如 playing ["play", "##ing"])。核心差异在于合并目标函数:WordPiece 不直接选择频次最高的相邻对
注意到将分子分母同除以总词元数
也就是说,WordPiece 合并准则在数学上等价于最大化相邻词元的点互信息(Pointwise Mutual Information, PMI)!如果 q 和 u),得分极高并优先合并。
推理编码(贪心最长前缀匹配):与 BPE 需保存合并秩表不同,BERT 中的 WordPiece 推理极其轻量——仅需词表集合即可执行贪心最长前缀匹配(MaxMatch):从词首出发,反复匹配当前词表中存在的最长前缀子串;剩余部分加上 ## 前缀继续匹配;若某一步单字符也不在词表中,则整个词回退为 <unk>。
2. Unigram LM:自顶向下剪枝、EM 与 Viterbi 解码
Unigram LM 采取截然相反的自顶向下(Top-Down) 概率建模路线。它假设词元序列
对于输入字符串
该最优化问题天然具有最优子结构,可通过
训练流程(EM 优化 + 迭代剪枝):
- 构建超大种子词表
:从语料提取所有基础字符以及高频子串(如扩展后缀数组提取的数百万候选子词),确保单字符永不被删。 - E-step & M-step(期望最大化):固定当前词表
,利用前向-后向(Forward-Backward)算法计算每个子词在所有可能切分路径中的期望出现次数 ,并更新最大似然概率 (工程中常加 Dirichlet 先验并通过 Digamma 函数 做变分贝叶斯平滑,抑制过拟合): - 计算删词损失并剪枝:对每个非单字符词元
,估算将其移除后整体负对数似然的增量 。丢弃 最小(最不重要)的底端 词元,重复 EM 与剪枝,直到 收缩至目标词表大小。
此外,由于 Unigram 维护了完整概率分布,训练下游模型时还可启用 子词正则化(Subword Regularization):不总取 Viterbi 唯一最优路径,而是按概率 unbelievable 有时切作 un + believable,有时切作 un + believ + able),极大提升模型对拼写噪声与形态变化的泛化能力。
3. SentencePiece 框架与字节回退(Byte Fallback)
传统分词器默认依赖空格切分单词(如英语),对中文、日语、泰语等无显式空格分隔的语言必须外接繁重的语言专用分词工具。SentencePiece 彻底打破了这一限制:
- 空格即普通字符:将原始文本中的空白符统一转义为可见元符号
▁(UnicodeU+2581),直接在原始字符流上端到端训练 BPE 或 Unigram 模型,实现完全语言无关且严格可逆的decode(encode(x)) == x。 - 字节回退(Byte Fallback):在词表中额外预留
个单字节特殊词元(记作 <0x00>至<0xFF>)。当遇到未收录的罕见汉字、古文字或新 Emoji 时,不退化为<unk>,而是自动分解为对应的 UTF-8 字节词元序列,从而在保持直观字符词表的同时实现OOV。LLaMA 1/2、Mistral 7B 与 Gemma 均使用了带字节回退的 SentencePiece 架构。
算法架构 / 数据流图
图表加载中...
复杂度与横向对比表
| 维度 | BPE / Byte-Level BPE | WordPiece | Unigram LM |
|---|---|---|---|
| 构建方向 | 自底向上(贪心合并) | 自底向上(贪心合并) | 自顶向下(迭代剪枝) |
| 核心优化准则 | 相邻二元组原始频率最大化 | 似然增量 / 点互信息(PMI)最大化 | 整体语料边缘对数似然最大化(EM) |
| 推理切分算法 | 按训练合并秩(rank)从小到大归约 | 贪心最长前缀匹配(MaxMatch) | Viterbi 动态规划求全局最优路径 |
| 推理时间复杂度 | |||
| 概率多路径采样 | 需额外技巧(BPE-Dropout) | 不原生支持 | 原生支持 Subword Regularization |
| 空白处理标记 | Ġ 映射或原生字节 | 丢弃空格,非首子词加 ## | ▁(SentencePiece 无损转义) |
| 代表模型 | GPT-2/3/4、LLaMA 3、Qwen2.5 | BERT、DistilBERT、Electra | T5、ALBERT、XLNet、mBART |
核心 Python 参考实现
下面给出 WordPiece 贪心最长前缀匹配 与 Unigram LM(Viterbi 动态规划解码 + 简化 EM 概率估计) 的自包含可运行代码:
python
import math
from collections import defaultdict
def wordpiece_maxmatch(word: str, vocab: set[str], unk_token: str = "<unk>") -> list[str]:
"""BERT 风格的 WordPiece 贪心最长前缀匹配算法。"""
tokens: list[str] = []
start = 0
n = len(word)
while start < n:
end = n
matched = None
while start < end:
substr = word[start:end]
if start > 0:
substr = "##" + substr
if substr in vocab:
matched = substr
break
end -= 1
if matched is None:
return [unk_token]
tokens.append(matched)
start = end
return tokens
class SimpleUnigramTokenizer:
"""教学级 Unigram LM 分词器,演示 Viterbi 最优切分与 EM 概率迭代。"""
def __init__(self, vocab_log_probs: dict[str, float]) -> None:
self.log_probs = dict(vocab_log_probs)
self.max_len = max(len(k) for k in self.log_probs)
def viterbi_tokenize(self, text: str) -> tuple[list[str], float]:
"""O(L * l_max) 动态规划求全局最大概率切分路径。"""
n = len(text)
dp = [-math.inf] * (n + 1)
backptr = [-1] * (n + 1)
dp[0] = 0.0
for end in range(1, n + 1):
start_min = max(0, end - self.max_len)
for start in range(start_min, end):
piece = text[start:end]
if piece in self.log_probs and dp[start] > -math.inf:
cand = dp[start] + self.log_probs[piece]
if cand > dp[end]:
dp[end] = cand
backptr[end] = start
if backptr[n] == -1:
raise ValueError(f"无法切分文本(缺少基础字符回退): {text!r}")
# 沿回溯指针还原最优子词序列
pieces: list[str] = []
pos = n
while pos > 0:
prev = backptr[pos]
pieces.append(text[prev:pos])
pos = prev
pieces.reverse()
return pieces, dp[n]
def em_step(self, corpus: list[str], smoothing: float = 1e-3) -> float:
"""简化 Viterbi-EM 迭代更新各子词对数概率,返回语料总对数似然。"""
counts: dict[str, float] = defaultdict(lambda: smoothing)
total_ll = 0.0
for sent in corpus:
pieces, ll = self.viterbi_tokenize(sent)
total_ll += ll
for p in pieces:
counts[p] += 1.0
total_count = sum(counts[k] for k in self.log_probs)
for token in self.log_probs:
self.log_probs[token] = math.log(counts[token] / total_count)
return total_ll
if __name__ == "__main__":
# 1. WordPiece MaxMatch 演示
wp_vocab = {"un", "play", "##play", "##able", "##ing", "##ed", "re"}
print("WordPiece 切分 'unplayable':", wordpiece_maxmatch("unplayable", wp_vocab))
# 2. Unigram LM Viterbi + EM 演示(使用 SentencePiece 风格空格 ▁)
seed_tokens = [
"▁", "a", "b", "c", "e", "h", "i", "l", "n", "o", "p", "r", "s", "t", "u", "v",
"▁un", "un", "able", "believ", "believe", "▁play", "play", "ing",
]
init_lp = {t: math.log(1.0 / len(seed_tokens)) for t in seed_tokens}
unigram = SimpleUnigramTokenizer(init_lp)
toy_corpus = ["▁unbelievable", "▁unplayable", "▁playing", "▁believe"] * 3
for it in range(3):
ll = unigram.em_step(toy_corpus)
seg, score = unigram.viterbi_tokenize("▁unbelievable")
print(f"EM iter {it+1}: total_ll={ll:.2f}, '▁unbelievable' -> {seg} (logP={score:.2f})")工程实践与常见陷阱
工程实践
- 多语言形态丰富任务可优先考察 Unigram:在德语、土耳其语、芬兰语等黏着语以及中英混排的编码器-解码器(如 T5 / mT5)任务中,Unigram LM 往往能切出比 BPE 更贴近语言学词素边界的子词,且结合 Subword Regularization 可显著改善低资源鲁棒性。
- 现代 Decoder-only 模型慎用 SentencePiece 默认 NFKC 归一化:SentencePiece 默认开启
nmt_nfkc规范化,会把全角标点、上标数字(x²x2)、连续空白强行折叠,这在代码生成与数学公式场景是灾难性的。若使用 SentencePiece 训练代码大模型,务必配置normalization_rule_name="identity"并关闭remove_extra_whitespaces。 - 强制开启
byte_fallback=True:使用 SentencePiece 时必须显式启用字节回退,避免生僻汉字、Emoji 或二进制日志片段被静默抹除为<unk>。
常见陷阱
- WordPiece 的全词回退灾难:标准 BERT WordPiece 只要一个长词中混入了一个不在词表中的特殊符号(例如连字符或冷门变音字母),MaxMatch 就会把整个词判为
<unk>,造成大块语义丢失。这也是 WordPiece 逐渐退出新一代通用大语言模型舞台的重要原因。 - 混淆 SentencePiece 与 Unigram:行业内常有人把“SentencePiece 分词器”等同于 Unigram,实际上 LLaMA 1/2 与 Mistral 7B 使用的都是 SentencePiece + BPE(
model_type="bpe"),而 T5 与 ALBERT 使用的才是 SentencePiece + Unigram(model_type="unigram")。 - Dummy Prefix(虚拟前缀空格)引发的首词不一致:SentencePiece 默认开启
add_dummy_prefix=True,会自动在整段输入文本开头补一个▁,使句首单词和句中单词映射为同一词元;但做代码 FIM(Fill-in-the-Middle)拼接或在流式解码分段拼接 token 时,虚拟前缀会导致多出额外空格,需要在配置或后处理中精细管控。
延伸阅读与参考论文
- Schuster, M., & Nakajima, K. (2012). Japanese and Korean Voice Search. ICASSP 2012(首次提出 WordPiece). DOI:10.1109/ICASSP.2012.6289079 ↗
- Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019. arXiv:1810.04805 ↗
- Kudo, T. (2018). Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. ACL 2018(提出 Unigram LM 分词算法). arXiv:1804.10959 ↗
- Kudo, T., & Richardson, J. (2018). SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. EMNLP 2018. arXiv:1808.06226 ↗
- Bostrom, K., & Durrett, G. (2020). Byte Pair Encoding is Suboptimal for Language Model Pretraining. Findings of EMNLP 2020(系统对比 BPE 与 Unigram 在形态对齐与下游微调上的表现). arXiv:2004.03720 ↗