外观
概念定义 · 什么是交叉熵、KL 散度与困惑度?
大模型预测下一个词时,输出的不是单个答案,而是给词表里每个词打一份概率分布。信息论 就是用来衡量“模型猜得准不准、两个概率分布像不像”的数学尺子。
其中 交叉熵(Cross-Entropy) 是训练大模型最核心的损失函数(猜对真答案的概率越高,扣分越少);KL 散度 用来衡量微调/对齐后的新模型偏离原模型有多远;困惑度(Perplexity, PPL) 则是交叉熵的指数形式,直观表示“模型每次选下一个词时,平均在多少个等概率候选词之间犹豫不决”。
01 为什么大语言模型的终极目标其实是“压缩文本”?
如果有人问你:大模型预训练时每天读几万亿个词,它到底在学什么?一个听起来很“硬核”却无比准确的回答是——它在拼命学着怎么把人类语言压缩得更短。
早在 1948 年,香农在信息论开山之作(A Mathematical Theory of Communication, 1948 ↗)里就证明了一个深刻定理:你对下一句话猜得越准,表达这句话所需的平均比特数就越少。近年 DeepMind 的论文 Language Modeling Is Compression (2024) ↗ 甚至直接拿大语言模型当无损压缩软件,压缩率一举碾压了 gzip 和 PNG!
类比 · 猜词电报员的省钱绝技
想象你是一名按字节收费的电报员,要把一本小说发往大洋彼岸。如果对方完全不懂中文,每个字你都得花完整编码去发;但如果对方和你一样熟读小说规律——你刚发了“床前明月”,对方十有八九能猜出下个字是“光”,那你只需发一个极短的“猜对了!”信号就行。模型越聪明,越能精准预测下一个词,给真实文本编码时花的比特就越少。
核心设问
在数学上,我们怎么精确量化“猜得有多准”?为什么训练时要用交叉熵而不是均方误差(MSE)?更关键的是,在蒸馏与对齐阶段,同样是缩小两个概率分布的距离,为什么把公式里的
02 两个核心直觉:摩斯电码账单与“铺平 vs 赌单峰”
直觉一:信息熵、交叉熵与 KL 散度的三笔账
信息论里最容易把人绕晕的三个概念——信息熵
类比 · 发报员的三笔账单
- 信息熵
:如果你是全知的上帝,完全掌握真实语言分布 ,把常见字编成超短码、生僻字编成长码,发完每个字理论上最少必须花的比特数(语言本身不可再压缩的底线)。 - 交叉熵
:现实中你没有上帝视角,只能按当前模型脑子里的猜测分布 去设计电码表,拿这套表去发真实世界的话,实际平均花掉的比特数。 - KL 散度
:实际账单减去理论底线,就是因为模型 “猜得不够准” 而白白多花的冤枉比特数。因为理论底线 是固定不变的,所以最小化交叉熵、最小化 KL 散度、最大化真实文本的似然概率,在数学上干的是同一件事!
类比 · 为什么不用均方误差(MSE)来教语言模型猜词?
设想词表里有 10 万个词,真实答案是 one-hot 里的一个 1,模型却把正确词的概率错估成了 0.0001。如果用均方误差算账,0.01 还是 0.000001,扣分都差不多,梯度软绵绵的;而交叉熵取负对数 0 的地方拉起一堵垂直悬崖——你越是高傲地把正确答案判为“不可能”,它给你的惩罚梯度就越猛烈,逼着模型火速改正极端错误。
直觉二:Forward KL 与 Reverse KL 的性格分裂
KL 散度最反直觉的性质是不对称:
类比 · 一块小桌布盖两座山峰
- Forward KL(
,宁滥勿缺 / Mode-Covering):处罚规则是“只要山峰有高度的地方,桌布没盖到就罚款无穷大!”学生吓坏了,只好把桌布拼命拉宽拉平,横跨两座山峰连带中间的山谷一起盖住——结果是覆盖面极全,但概率糊成一团,甚至把大量概率错分到山谷里的胡言乱语上。 - Reverse KL(
,宁缺毋滥 / Mode-Seeking):处罚规则反过来——“只要你桌布盖到了没山的空地就罚款无穷大,没盖到另一座山峰不算错!”学生立刻变聪明了:干脆放弃一座山峰,把桌布严严实实地罩在其中一座最高峰上——结果是生成极其精准锐利、绝不胡说,但多样性会变窄。
03 把关键公式读成人话
先看把信息熵、交叉熵、KL 散度串成一条线的核心恒等式:
把交叉熵损失读成直觉:训练时每读到一个词
再对比一下两种 KL 散度的对称写法:
**把两条 KL 散度读成直觉:**注意看最前面的权重因子是谁:
- Forward KL 由老师分布
加权,老师觉得重要的地方,学生 绝不能给零; - Reverse KL 由学生分布
加权,只要学生敢押注的地方,老师 必须也认同,否则罚到破产。
训练完怎么评估模型有多强?行业常用 困惑度(PPL) 与跨词表黄金指标 每字节比特数(BPB)(详见 The Pile, 2020 ↗):
把 PPL 和 BPB 读成直觉:- PPL(困惑度) 是“等效掷骰子面数”:
- 为什么跨模型比拼必须换成 BPB? 因为不同模型的 分词器 切法不同——大词表一口吞 5 个字母,每一步要猜的东西更多,单步 PPL 天然偏高,但它总步数少!把整篇文章的总信息量除以原始 UTF-8 字节数
再换算成以 2 为底的比特(除以 ),就彻底剥离了分词器的干扰,变成真正的“每字节压缩成本”。
04 它在模型里怎么工作 & 与上下游的关系
香农信息论像空气一样渗透在大模型训练、对齐与评估的每一个环节:
- 预训练与 SFT 的主引擎:预训练目标(CLM) 与 监督微调(SFT) 最小化的都是标准交叉熵(等价于 Forward KL),鼓励模型广博地吸收世界知识与多样表达。
- 对齐阶段的“防跑偏缰绳”:在 RLHF / PPO 与 DPO 家族 中,如果只一味追求奖励模型高分,模型很快会学会钻空子胡言乱语(Reward Hacking)。于是目标函数里必须绑上一根 Reverse KL 惩罚绳
,既把输出拉向高质主峰,又防止策略模型离参考底座太远。 - 知识蒸馏的路线分水岭:传统蒸馏用 Forward KL,小模型学完常常“四不像”;而 MiniLLM (2024) ↗ 等现代 剪枝与蒸馏 方法改用 Reverse KL,让小模型放弃装不下的长尾分布,专注复刻大老师最稳健的回答模式。
- 缩放与采样的标尺:缩放定律(Scaling Laws) 拟合的纵轴正是验证集交叉熵损失;推理阶段的 温度与核采样解码 本质上也是在实时调节输出分布的信息熵。
05 散度与指标速查表 & 避坑备忘
| 概念 | 一句话直觉 | 典型性格 / 适用范围 |
|---|---|---|
| 交叉熵(Cross-Entropy) | 按模型猜测编码真实数据的平均代价 | 与最大似然等价,预训练与 SFT 唯一标配 |
| Forward KL | Mode-Covering,包容全面但易偏平滑 | |
| Reverse KL | Mode-Seeking,锐利精准但可能多样性变窄 | |
| PPL vs BPB | 每词元等效分支数 vs 每字节压缩比特数 | 同词表看 PPL,跨词表/跨家族必须看 BPB |
- 绝不跨分词器直接比 PPL:把 32K 词表的 LLaMA 2 和 128K 词表的 LLaMA 3 拉到一起比 token 级 PPL 是经典乌龙,必须统一折算为 BPB。
- 永远别手写
log(softmax(x)):超大或超小 logits 会瞬间溢出成inf或NaN。工程上务必调用带最大值平移(LogSumExp)的融合算子F.cross_entropy,并在 FP32 下算完损失;词表超 128K 时还可配合分块交叉熵核避免[B, T, V]显存爆炸。 - 当心 PyTorch
F.kl_div的参数陷阱:它的第一个参数必须是对数概率,且默认的 reduction='mean'会错除以把梯度缩小十几万倍,正确做法是传 reduction='batchmean'。
需要查阅吉布斯不等式、JS 散度对比、Z-loss 稳定性技巧以及完整的 NLL / PPL / BPB 与双 KL 对比 PyTorch 代码?按快捷键
M或点击顶部技术 Wiki即可随时切换。
大语言模型的本质是对自然语言序列概率分布
直观理解
可以把语言模型想象成一名猜词编码员:信息熵是自然语言本身不可再压缩的“最低猜词代价”;交叉熵是当前模型按照自己的猜测概率去压缩文本时实际付出的平均比特数;KL 散度则是模型因为“猜得不够准”而多花出去的冤枉比特数。训练大模型,本质上就是不断压榨这部分冗余比特。
问题动机与演进背景
在语言建模中,模型在每个时间步需要从大小为
随着模型演进到 指令微调(SFT)、知识蒸馏 与人类偏好对齐(RLHF / PPO、DPO 家族)阶段,研究者进一步需要精细控制两个概率分布之间的“贴合方式”——究竟是宁可覆盖所有可能模式(Forward KL),还是宁可放弃部分长尾而保证生成锐利(Reverse KL),这一区别深刻影响着蒸馏与对齐的最终效果。
核心原理与数学推导
1. 自信息、信息熵与交叉熵
设离散随机变量
当对数底为
香农源编码定理指出,
若我们用参数化模型分布
2. KL 散度与最大似然估计(MLE)的等价性
使用模型
由吉布斯不等式可知
在有限训练集
3. Forward KL 与 Reverse KL 的不对称性
KL 散度不满足对称性,即
- Forward KL(
,均值寻找 / Mode-Covering): 期望按 加权。只要在某处 而 ,惩罚项 。因此模型被迫“铺平”概率质量去覆盖 的所有峰,宁可在低概率谷底分配虚假概率(产生幻觉或模糊输出),也不敢漏掉任何真实样本。标准预训练与监督微调(SFT)最小化的正是 Forward KL。 - Reverse KL(
,峰值寻找 / Mode-Seeking): 期望按 加权。只要在某处 而 ,惩罚项趋于无穷;但若 ,即使 也不会产生惩罚。因此模型会集中精力精准锁定 的某几个高概率主峰,舍弃次要模式,生成质量更锐利但也可能牺牲多样性。RLHF 策略优化与 MiniLLM 蒸馏广泛采用 Reverse KL。
4. 困惑度(Perplexity)与 Bits-per-Byte(BPB)
困惑度(Perplexity, PPL) 定义为每词元平均负对数似然的指数形式:
直观上,
然而,PPL 高度依赖 分词器(Tokenizer) 的词表粒度:更大的词表将同样一段文本切分为更少的词元,单步预测难度上升但总步数减少,导致不同分词器的模型之间无法直接比较 PPL。为此,基准测试与 缩放定律评估 广泛采用分词器无关的 Bits-per-Byte(BPB) 指标:
其中
算法架构 / 数据流图
图表加载中...
复杂度与横向对比表
| 散度 / 指标 | 数学表达式 | 行为特性 | 跨词表可比性 | 典型应用场景 |
|---|---|---|---|---|
| 交叉熵(Cross-Entropy) | 与 MLE 等价,数值稳定(LogSumExp) | 否(依赖词表) | 预训练、SFT 监督损失 | |
| Forward KL | Mode-Covering,避免漏峰,可能偏平滑 | 否 | 预训练、传统 logits 知识蒸馏 | |
| Reverse KL | Mode-Seeking,锁定高质主峰,可能模式坍缩 | 否 | RLHF 策略约束、MiniLLM 蒸馏 | |
| JS 散度(Jensen-Shannon) | 对称且有界 | 否 | 分布距离度量、GAN 理论分析 | |
| 困惑度(PPL) | 直观反映有效分支因子 | 否(强烈依赖分词器) | 同词表模型迭代与量化评估 | |
| Bits-per-Byte(BPB) | 反映真实文本压缩率(bits/byte) | 是(分词器无关) | The Pile、跨家族模型基准对比 |
核心 PyTorch 参考实现
python
import math
import torch
import torch.nn.functional as F
def causal_lm_metrics(
logits: torch.Tensor, # [B, T, V]
target_ids: torch.Tensor, # [B, T]
utf8_byte_lengths: list[int], # 每条样本原始文本的 UTF-8 字节数
ignore_index: int = -100,
) -> dict[str, float]:
"""计算因果语言模型的 NLL、PPL 与分词器无关的 BPB。"""
# 因果移位:用 t 位置的 logits 预测 t+1 位置的 token
shift_logits = logits[:, :-1, :].contiguous() # [B, T-1, V]
shift_labels = target_ids[:, 1:].contiguous() # [B, T-1]
# 使用 reduction='none' 以精确统计总 nats 与有效词元数
token_nll = F.cross_entropy(
shift_logits.view(-1, shift_logits.size(-1)),
shift_labels.view(-1),
ignore_index=ignore_index,
reduction="none",
) # [B * (T-1)]
valid_mask = shift_labels.view(-1) != ignore_index
total_nats = token_nll[valid_mask].sum().item()
valid_tokens = valid_mask.sum().item()
mean_nll = total_nats / max(valid_tokens, 1)
ppl = math.exp(mean_nll)
total_bytes = sum(utf8_byte_lengths)
bpb = total_nats / (total_bytes * math.log(2.0))
return {"nll_nats": mean_nll, "ppl": ppl, "bpb": bpb}
def compare_forward_reverse_kl(
teacher_logits: torch.Tensor, # [N, V]
student_logits: torch.Tensor, # [N, V]
temperature: float = 1.0,
) -> tuple[torch.Tensor, torch.Tensor]:
"""分别计算 Forward KL D_KL(P||Q) 与 Reverse KL D_KL(Q||P)。"""
p_log = F.log_softmax(teacher_logits / temperature, dim=-1) # log P
q_log = F.log_softmax(student_logits / temperature, dim=-1) # log Q
p_prob = p_log.exp()
q_prob = q_log.exp()
# Forward KL: sum P * (log P - log Q)
forward_kl = (p_prob * (p_log - q_log)).sum(dim=-1).mean()
# Reverse KL: sum Q * (log Q - log P)
reverse_kl = (q_prob * (q_log - p_log)).sum(dim=-1).mean()
return forward_kl, reverse_kl
if __name__ == "__main__":
torch.manual_seed(0)
B, T, V = 2, 16, 1000
logits = torch.randn(B, T, V)
labels = torch.randint(0, V, (B, T))
metrics = causal_lm_metrics(logits, labels, utf8_byte_lengths=[64, 60])
print("随机初始化基准指标:", {k: round(v, 4) for k, v in metrics.items()})
# 演示多峰教师分布下,单峰学生用 Forward KL vs Reverse KL 的差异
t_logits = torch.tensor([[5.0, 0.0, 0.0, 5.0]]) # 双峰分布
s_cover = torch.tensor([[2.0, 1.5, 1.5, 2.0]]) # 覆盖双峰但较平滑
s_seek = torch.tensor([[5.0, -5.0, -5.0, -5.0]]) # 仅锁定左峰
print("Cover 学生 (Fwd, Rev):", [round(x.item(), 3) for x in compare_forward_reverse_kl(t_logits, s_cover)])
print("Seek 学生 (Fwd, Rev):", [round(x.item(), 3) for x in compare_forward_reverse_kl(t_logits, s_seek)])工程实践与常见陷阱
工程实践
- 数值稳定的 LogSumExp:严禁先计算
softmax再取log,否则极大或极小 logits 会触发上溢(inf)或下溢(log(0) = -inf)。始终在 FP32 下使用融合算子F.cross_entropy或F.log_softmax,其内部通过减去最大值保证数值稳定。 - 大模型词表的显存融合优化:当词表
、序列较长时,实例化完整的 [B, T, V]FP32 logits 张量可能消耗数十 GB 显存。生产框架(如 Liger-Kernel、Cut Cross-Entropy)采用分块在线计算融合线性层与交叉熵,将显存开销降低一个数量级。 - Label Smoothing 与 Z-loss:在预训练中常加入辅助正则项
z_loss = 1e-4 * (logsumexp(logits) ** 2)(如 PaLM、Chameleon),用于约束 logits 绝对值不发生漂移,防止 BF16 下 softmax 溢出。
常见陷阱
- 跨分词器误用 PPL 对比:将词表为 32k 的 LLaMA 2 与词表为 128k 的 LLaMA 3 直接对比 token-level PPL 是完全错误的——词表越大、单 token 承载字节越多,PPL 数值天然偏高。跨词表比较必须折算为 BPB 或 Bits-per-Character(BPC)。
F.kl_div参数顺序与默认reduction陷阱:PyTorch 的F.kl_div(input, target)中input要求是对数概率,而 target默认是概率(除非传 log_target=True),且默认reduction='mean'会除以元素总数而非批大小 ,正确用法应传 reduction='batchmean'或手动对词表维sum(dim=-1).mean()。- 评估滑动窗口的上下文泄漏:在计算超长文档的困惑度时,若简单切块而不留重叠上下文,每块开头词元缺乏历史信息会虚高 PPL;应使用带步长的滑动窗口(Sliding Window),且只对新增无重叠部分累加 NLL。
延伸阅读与参考论文
- Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal. DOI:10.1002/j.1538-7305.1948.tb01338.x ↗
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
- Gao, L., et al. (2020). The Pile: An 800GB Dataset of Diverse Text for Language Modeling(系统讨论 BPB 作为跨词表评估指标). arXiv:2101.00027 ↗
- Gu, Y., et al. (2024). MiniLLM: Knowledge Distillation of Large Language Models. ICLR 2024(深入剖析 Reverse KL 与 Forward KL 在大模型蒸馏中的差异). arXiv:2306.08543 ↗
- Delétang, G., et al. (2024). Language Modeling Is Compression. ICLR 2024. arXiv:2309.10668 ↗