Skip to content

分词器总览与词表权衡

对比字符、词与子词分词范式,剖析词表大小、压缩率、多语言 Fertility 与数字切分等核心工程权衡。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是分词器(Tokenizer)与 Token?

计算机和神经网络看不懂汉字或英文单词,只能处理数字。分词器(Tokenizer) 就是大模型门口的“翻译接待员”:负责把你输入的原始文本切成一个个最小处理单元——词元(Token),再查词表把每个词元变成一个整数编号(Token ID);模型算完后再由它把编号翻译回人类文字。

词表太大,Embedding 参数臃肿、冷门词学不充分;词表太小,一句话要切出很长一串编号、拖慢推理速度——分词器设计的全部艺术都在这个权衡里。

01 为什么大模型连“strawberry 里有几个 r”都能数错? ​

很多刚接触大模型的人都疑惑过:一个能写复杂算法、做奥数题的超级 AI,为什么常常数不清英文单词 strawberry 里有几个字母 r,或者把两位小数比大小搞反?

真相出奇简单——大模型压根没“看见”字母,它看到的是一串整数编号(Token IDs)。在文本进入神经网络之前,必须先经过一道独立关卡:分词器(Tokenizer)。它像海关安检员一样把字符串切成一块块“词元”再翻译成数字;对模型而言,strawberry 可能只是 [496, 675, 15717] 三个黑盒编号,它根本看不到里面藏着几个 r!

类比 · 活字印刷的字盘困境

把大语言模型想象成一位靠活字印刷读报的读者,分词器就是他手里的字盘:

  • 字符级 / 字节级(按笔画字母刻字):字盘只有 256 块砖,轻便无比且绝不缺字;但一篇短文要排成几千块,而 自注意力 的计算量是长度的平方 O(T2),句子变长 4 倍,算力直接暴涨 16 倍!
  • 词级(把世间所有词都刻成整块):排出来最短;可人类语言有无穷的新词、拼写变体、代码变量名和多语种混合,字盘重到搬不动,遇到不认识的新词只能统统盖章成 `<unk>`(彻底丢信息)。
  • 子词级(Subword,Sennrich et al., 2016 ↗):高频常用词刻成整块,罕见词拆成熟悉的词根、词缀甚至单字节拼装——既把句子压短了,又彻底消灭了未知词。
核心设问

既然子词是绝对赢家,为什么 GPT-2 只用 5 万词表,LLaMA 3 扩大到 12.8 万,Gemma 2 甚至飙到 25.6 万?词表越大越好吗?它又怎么悄悄左右着多语言成本与数学算术能力?

02 三个直觉画面:词元税、大词表账本与数字切碎惨案 ​

画面一:多语言“词元税”(Token Tax) ​

英语母语者常觉得大模型又快又便宜,但中文、泰语、阿拉伯语开发者却常吐槽“同样的意思,费用翻了好几倍、上下文窗口缩水一大半”。Petrov et al. (2023) ↗ 将这种现象称为分词器的多语言不公。

类比 · 整箱托运 vs 按粒计费

想象快递公司按“件数(Token 数)”而不是“重量(信息量)”收费:如果分词器训练语料里 95% 是英文,英语常用词就能“整箱打包”,1 个词算 1 件;而缺乏词表名额的中文或小语种,一个汉字被迫拆成 3 个 UTF-8 单字节“散装颗粒”,同样一句话件数暴涨 4 倍——你的上下文窗口缩水成 1/4,生成速度慢 4 倍,API 账单翻 4 倍!

画面二:大词表对大模型是红利,对小模型是累赘 ​

现代旗舰模型纷纷把词表扩张到 10 万~25 万(Tao et al., 2024 ↗ 证明了“大模型配得上更大词表”的缩放规律)。这背后的账本非常直观:输入 词嵌入层 和输出分类头共占 2Vd 个参数。

  • 对 70B 巨兽(d=8192),256K 词表只占总参数的不到 6%,却换来了 20%~35% 的序列压缩率提升,稳赚不赔;
  • 对 1B 迷你模型(d=2048),同样 256K 词表光头尾两层就吃掉 10.5 亿参数(超过一半体量!),如果不做权重共享简直重如千斤。

画面三:为什么不规则数字切分会毁掉心算? ​

早期纯频率驱动的分词器切数字全凭运气:2024 可能是 1 块,2025 却被劈成 20 + 25,123456 变成 123 + 456。这就像让人用一把刻度歪斜的尺子列竖式做加法——十进制数位完全错开,模型怎么也学不会稳定进位(Singh & Strouse, 2024 ↗)。因此如今主流模型一律加了硬规则:要么像 LLaMA 2 / Qwen / DeepSeek 强制单数字切分(每个 0–9 独立成块),要么像 GPT-4 / LLaMA 3 用正则 \p{N}{1,3} 做每 1–3 位分块。

03 把关键公式读成人话 ​

衡量一个分词器好不好用,工程上最盯紧两个核心指标:

Bytes/Token=NbytesNtokens,Fertility=NtokensNwords

把压缩率与繁殖率读成直觉:- Bytes/Token(压缩率):平均 1 个词元能打包多少个原始 UTF-8 字节。数字越大,同样 8K 上下文能塞进越厚的书,推理吐完同样一篇报告所需的步数也越少。

  • Fertility(繁殖率):平均 1 个自然词被“裂变”成了几个词元。理想值越接近 1.0 越好;一旦某门语言的 Fertility 高达 4~6,就说明它正在缴纳沉重的“词元税”。

再来看词表规模带来的头尾参数账:

Nvocab-layers={2Vd,Untied(输入输出独立)Vd,Weight Tying(输入输出共享)

把参数账读成直觉:V 是词表行数,d 是隐藏向量宽度。扩大词表 V 不仅增加显存,还会稀释低频词的出场次数——如果预训练总语料不够大,词表尾巴上成千上万个生僻词元从头到尾没见过几回,就会变成欠训练的“僵尸向量”。

04 它在模型里怎么工作 & 与上下游的关系 ​

分词器位于整条 LLM 流水线的最前端(入口)与最末端(解码还原),与前后环节咬合紧密:

05 分词范式速查与三个避坑备忘 ​

分词粒度典型词表 V压缩率OOV 风险代表模型
字节级(Byte-level)256极低(1.0 B/tok)零ByT5、MegaByte
词级(Word-level)105∼107极高高(`<unk>`)早期 Word2Vec、RNN-LM
小词表 Subword32k∼50k中等零(字节回退)GPT-2、LLaMA 1/2、Mistral 7B
大词表多语言 Subword100k∼256k高(多语种与代码大涨)零(字节回退)GPT-4o、LLaMA 3、Qwen2.5、Gemma 2
  1. Prompt 末尾别手滑多打一个空格:BPE 通常把空格粘在单词前面(" apple" 和 "apple" 是两个完全不同的 ID)。如果提示词尾巴多留了一个孤立空格,模型续写时命中不了带前导空格的常见词元,回复质量会莫名下滑。
  2. 小心“幽灵故障词元”(Glitch Tokens):如果训练分词器时混进了网页垃圾字符串,后来正式预训练数据清洗又把它们删干净了,这些词元留在词表里却从未接受过梯度更新——上线后用户一旦输入就会触发模型胡言乱语。
  3. 代码时代别乱开 NFKC 归一化:把全角符号、上标 x² 和连续缩进空格强行“标准化”会破坏代码缩进和无损还原;现代通用 LLM 大多关闭激进规范化,并专门把 4/8 个连续空格收入词表,帮 Python 代码立省 20%~30% 词元。

需要查阅完整四阶段分词流水线图、数字切分对比代码以及评估多语言 Bytes/Token 与 Fertility 的完整 Python 脚本?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

大语言模型无法直接处理原始字符串,必须首先由分词器(Tokenizer) 将连续的 Unicode 文本流切分为离散的整数索引序列(Token IDs),并在推理生成结束后将整数序列无损解码还原为人类可读文本。尽管分词器位于神经网络之外且在预训练开始前就已固定,它却深刻决定了模型的有效上下文长度、推理吞吐、多语言公平性、算术推理能力以及词嵌入参数开销——正如 Andrej Karpathy 所言,LLM 中许多看似怪异的缺陷,追根溯源都是分词惹的祸。

直观理解

如果把语言模型比作阅读外文书的读者,分词器就是他脑海中的“认字表”:按单个字母拼读(Char-level),字典极小但一页书要读极长的时间;把世间所有词都背进字典(Word-level),阅读极快但字典重得搬不动且遇到生僻词就卡壳;子词(Subword) 则是最佳折中——常见词整体认读,罕见词拆成熟悉的词根与词缀组合理解。

问题动机与演进背景 ​

文本离散化天然面临词表规模 V 与序列长度 T 之间的根本张力:

  • 字符级(Character / Byte-level):词表极小(如 UTF-8 仅需 256 个字节),零未知词(OOV),形态变化泛化能力强;但序列长度暴增 4∼5 倍。由于标准 自注意力 计算复杂度为 O(T2),序列拉长 4 倍意味着注意力算力飙升 16 倍,且模型必须消耗浅层网络容量去重新“拼写”单词。
  • 词级(Word-level):序列最短、语义单元最直观;但自然语言服从齐夫定律(Zipf's Law),存在庞大的长尾词、复合词、拼写变体、代码标识符与多语言混合。为了覆盖足够多的词,词表动辄数百万,导致 词嵌入(Embedding) 与 LM Head 矩阵参数爆炸,未登录词全部坍缩为 <unk>,造成不可逆的信息丢失。
  • 子词级(Subword-level):高频词保留为完整词元,低频词与未见词按统计频率(字节级 BPE)或语言模型似然(WordPiece / Unigram)递归拆分为子词甚至单字节。在 V∈[32k,256k] 的适中词表下,同时实现高压缩率与 0% OOV,成为现代大语言模型的绝对主流。

核心原理与数学推导 ​

1. 压缩率与 Fertility(繁殖率) ​

衡量分词器效率最核心的两个指标是压缩率(Compression Ratio / Bytes per Token) 与词元繁殖率(Tokenizer Fertility):

Bytes/Token=NbytesNtokens,Fertility=NtokensNwords
  • Bytes/Token 越高,说明同样长度的原始文本被压缩为更少的词元,在固定上下文窗口(如 8K tokens)内能装下更多有效信息,且自回归解码生成同样字数所需的步数更少、端到端吞吐更高。
  • Fertility 越接近 1,说明平均每个自然词越接近由单一词元表示;在多语言场景中,若英文 Fertility 为 1.2,而中文、泰语或阿拉伯语被切碎成单字节导致 Fertility 高达 4∼8,就会造成严重的多语言“词元税”(Token Tax)——非英语用户的有效上下文窗口大幅缩水、API 费用倍增、推理延迟成倍上升。

2. 词表大小 V 的参数与计算权衡 ​

现代大语言模型的词表正呈现显著扩张趋势:从 GPT-2(50k)、LLaMA 2(32k)演化至 LLaMA 3(128k)、Qwen2.5(152k)与 Gemma 2(256k)。增大词表 V 带来双向影响:

  1. Embedding 与 LM Head 显存/算力开销:在不共享权重(Untied)时,输入嵌入矩阵与输出分类头合计占用 2Vd 参数。对于小模型(如 d=2048,总参数 1B),V=256k 仅词表层就占去 1.05B 参数(超过一半!);而对于 70B+ 大模型(d=8192),词表参数占比不足 6%,且每步输出头计算量 2Vd 相对整网主干 2N 的额外负担较小。
  2. 单步预测稀疏性与词表利用率:若训练数据量不够庞大,超大词表中的大量低频尾词元在预训练中出现次数寥寥无几,导致对应词向量欠训练(Under-trained Tokens),甚至成为触发模型异常行为的“故障词元”(Glitch Tokens)。
  3. 收益:更大词表可将中文、代码空白缩进及高频多语种词纳入独立词元,使压缩率提升 15%∼35%,同等词元预算下吸收更多真实世界字节信息。

3. 数字切分与算术推理难题 ​

经典 BPE 在纯频率驱动下会产生极不规则的数字切分:例如 2024 可能是 1 个词元,而 2025 被切成 20 + 25,123456 被切成 123 + 456,导致同一十进制数位在不同数字中错位,严重破坏模型学习进位加法与多位数乘法的能力。

针对这一痛点,现代大模型演化出两种主流数字切分策略:

  • 单数字切分(Single-Digit Splitting):如 LLaMA 1/2、DeepSeek、Qwen 与 Gemma,通过预分词规则强制将每个阿拉伯数字 0-9 切为独立词元。优点是数位对齐极其规整,显著提升算术泛化;缺点是处理长数字表格或金融日志时词元消耗增加。
  • 三位数分段切分(1–3 Digit Chunking):如 GPT-4(cl100k_base / o200k_base)与 LLaMA 3,利用正则 \p{N}{1,3} 最多每三位合为一个词元(0 到 999 全部入表),兼顾压缩率与千分位对齐(尽管右对齐不如从低位切分完美)。

算法架构 / 数据流图 ​

图表加载中...

复杂度与横向对比表 ​

分词粒度 / 代表方案典型词表大小 V序列压缩率OOV 处理多语言与代码表现代表模型
字节级(Byte-level)256极低(1.0 B/tok)零 OOV绝对公平但上下文极短ByT5、MegaByte
词级(Word-level)105∼107极高退化为 <unk>黏着语与代码几乎不可用早期 Word2Vec、RNN-LM
小词表 Subword32k∼50k中等(英文 ≈3.8 B/tok)字节回退零 OOV非拉丁语系 Fertility 偏高GPT-2、LLaMA 1/2、Mistral 7B
大词表多语言 Subword100k∼256k高(英文 ≈4.3,中文大涨)字节回退零 OOV兼顾多语言与代码缩进压缩GPT-4o、LLaMA 3、Qwen2.5、Gemma 2

核心 Python 参考实现 ​

python
import re
from collections import Counter


def analyze_tokenizer_efficiency(
    texts: list[str],
    tokenize_fn,
    name: str,
) -> dict[str, float]:
    """评估任意分词函数在多语种文本上的 Bytes/Token 压缩率与 Fertility。"""
    total_bytes = 0
    total_tokens = 0
    total_words = 0

    for text in texts:
        total_bytes += len(text.encode("utf-8"))
        tokens = tokenize_fn(text)
        total_tokens += len(tokens)
        # 粗略按空白及 CJK 单字估算自然词数
        words = re.findall(r"[A-Za-z0-9]+|[\u4e00-\u9fff]|[^\sA-Za-z0-9\u4e00-\u9fff]", text)
        total_words += max(len(words), 1)

    return {
        "name": name,
        "total_tokens": total_tokens,
        "bytes_per_token": round(total_bytes / max(total_tokens, 1), 3),
        "fertility": round(total_tokens / max(total_words, 1), 3),
    }


def demo_digit_splitting(text: str) -> dict[str, list[str]]:
    """对比三种常见数字切分策略对同一串文本的切分结果。"""
    # 1. 不限制数字合并(模拟早期无规则 BPE,按连续数字整块保留)
    unrestricted = re.findall(r"\d+|\D+", text)
    # 2. 单数字切分(LLaMA 2 / Qwen / DeepSeek 风格)
    single_digit = re.findall(r"\d|\D+", text)
    # 3. 1-3 位数字分块(GPT-4 / LLaMA 3 风格)
    chunk_1_3 = re.findall(r"\d{1,3}|\D+", text)
    return {
        "unrestricted": unrestricted,
        "single_digit": single_digit,
        "chunk_1_3": chunk_1_3,
    }


if __name__ == "__main__":
    samples = [
        "Large language models compress text into discrete subword tokens.",
        "大语言模型的分词器决定了多语言压缩率与有效上下文长度。",
        "def add(x: int, y: int) -> int:\n    return x + y  # 20240512",
    ]

    # 对比字节级、正则词级与模拟子词切分的压缩效率
    byte_tok = lambda s: list(s.encode("utf-8"))
    char_tok = lambda s: list(s)
    word_tok = lambda s: re.findall(r"\w+|\s+|[^\w\s]", s)

    for fn, label in [(byte_tok, "Byte-level"), (char_tok, "Char-level"), (word_tok, "Regex-Word")]:
        print(analyze_tokenizer_efficiency(samples, fn, label))

    print("\n数字切分对比:", demo_digit_splitting("计算 123456 + 7890 = 131346"))

工程实践与常见陷阱 ​

工程实践

  1. 将连续空格纳入词表以优化代码效率:Python 等语言高度依赖 4/8 空格缩进。GPT-4 与 LLaMA 3 将不同长度的连续空格合并为独立词元,使代码文件的 token 数量直接缩减 20%∼30%。
  2. 审慎选择文本规范化(Normalization):传统 BERT 会做小写化与 NFKC 归一化,但这会破坏代码大小写、² 幂次符号与不可逆文本还原。现代通用 LLM(如 GPT-4、LLaMA 3)大多关闭或极简使用 Unicode 规范化,确保 decode(encode(x)) == x 的严格无损往返性。
  3. 预留充足的特殊控制词元槽位:训练基础分词器时应提前预留数十至数百个保留槽位(如 <|reserved_special_token_0|>),以便后续 SFT 指令微调 对话模板、工具调用、多模态占位符 与思维链标记无缝扩展,无需修改 Embedding 维度。同时注意,不同分词器的语言建模损失必须通过 Bits-per-Byte(BPB) 跨词表公平比较。

常见陷阱

  1. 前缀空格敏感性与边界退化(Trailing Whitespace Trap):许多 BPE 分词器将前导空格粘在单词前面(如 " apple" 是一个词元,而 "apple" 是另一个词元)。如果在 Prompt 末尾多留了一个孤立空格,模型续写时可能无法命中常见的带前导空格词元,导致困惑度异常飙升与输出质量骤降。
  2. 故障词元(Glitch Tokens)与未训练词元:如果分词器训练语料与大模型预训练语料分布不一致(例如分词器在含大量 Reddit 用户名或网页噪音的语料上训练,但预训练阶段把这些语料清洗掉了),词表中会残留从未在主训练中见过梯度的“幽灵词元”,推理时一旦触发会导致模型胡言乱语。
  3. 分词器锁定效应:分词器一旦在预训练开始时敲定便极难更换。后期扩词表(Vocabulary Expansion)虽然可行,但需要用平均子词初始化新词向量并消耗数百亿词元做持续预训练以重新对齐内部表征。

延伸阅读与参考论文 ​

  • Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL 2016. arXiv:1508.07909 ↗
  • Petrov, A., et al. (2023). Language Model Tokenizers Introduce Unfairness Between Languages. NeurIPS 2023. arXiv:2305.15425 ↗
  • Tao, C., et al. (2024). Scaling Laws with Vocabulary: Larger Models Deserve Larger Vocabularies. NeurIPS 2024. arXiv:2407.13623 ↗
  • Dagan, G., Synnaeve, G., & Rozière, B. (2024). Getting the most out of your tokenizer for pre-training and domain adaptation. ICML 2024. arXiv:2402.01035 ↗
  • Singh, A. K., & Strouse, D. (2024). Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs. arXiv:2402.14903 ↗