外观
概念定义 · 什么是投机解码(Speculative Decoding)?
大模型逐字生成时,绝大部分时间浪费在把庞大权重从显存搬进计算单元——算 1 个字和一次并行算 5 个字花的时间几乎差不多!
投机解码 利用这一硬件特性实现了 “数学严格无损”的 2–3 倍提速:先找一个又小又快的草稿模型(或轻量预测头如 Medusa / EAGLE)一口气猜出后面 5 个词,再让真正的大模型一次前向传播同时批改验证这 5 个词——猜对的全部当场录用,猜错的立刻纠正,最终生成的分布和原大模型逐字慢写完全一模一样。
01 问题从何而来:搬 140 GB 权重,只为了挤出 1 个字
在 自回归解码 里,大语言模型有个令人抓狂的铁律:必须一个字接一个字地蹦。想算第 101 个字,就得老老实实等第 100 个字算完。
如果把这事放进 GPU 硬件视角(见 KV Cache 与 Roofline 分析),你会发现一场触目惊心的浪费:每次为了让一个 70B 大模型吐出 1 个字,GPU 都得从 HBM 显存里完整搬运一遍 140 GB 的参数;可要是让这个大模型同时并行算 6 个字,从显存里搬运的权重还是完全相同的 140 GB,多出来的 5 倍矩阵乘法几乎全落在了原本闲着发呆的 Tensor Core 算力空窗里——大模型算 6 个字的时间,几乎和算 1 个字一样长!
可问题来了:你连第 1 个字还没算出来,哪来的后面 5 个字送进去并行算呢?
类比 · 总编与快手助理
想象一家报社的资深总编(70B 目标大模型),字字珠玑但亲自逐字手写太慢。其实文章里一大半词都是顺理成章的套路(比如写到“根据以上分析,我们可”后面大概率接“以得出以下结论”),让堂堂总编每个字都亲自走一遍全套脑力流程太奢侈了。
于是总编雇了一名飞快但水平略逊的年轻助理(小巧的草稿模型):助理三两秒一口气先草拟 5 个词递上来,总编扫一眼就能一次性同时批改这 5 个词——前 3 个写得完全合我心意,直接盖章收下;第 4 个词不对劲,当场大笔一挥亲自改掉,第 5 个顺手划掉。一轮下来总编只看了一次稿,文章却一下向前推进了 4 个词!
核心设问
怎么设计一套严格的“批改与纠错规则”,让快手助理先瞎猜一串、大模型一次验完,不仅能把生成速度拉快
02 核心直觉与生活类比
如果只是贪心解码(永远选概率最高那个词),验收很简单:只要助理猜的词恰好是大模型的第一名就收下,不是就换掉。可现实中我们往往开着温度采样(Top-P / 随机采样),同一个位置大模型可能给“开心” 40%、给“高兴” 35%。如果硬要求完全撞中第一名,分布就被改歪了。
2022–2023 年,Google(arXiv:2211.17192 ↗)与 DeepMind(arXiv:2302.01318 ↗)几乎同时拿出了天才的修正拒绝采样(Modified Rejection Sampling)。
类比 · 严丝合缝的“多退少补”蓄水池
假设某个位置大模型(目标分布
- 如果助理给词
倒的水比大模型少( ):说明助理对这个好词还偏保守呢,放心 100% 直接接受! - 如果助理给词
倒的水比大模型多( ):说明助理对这个词过度自信了。我们不直接全盘否定,而是按比例 掷骰子决定留不留——把多出来的“虚高水分”精准挤掉。 - 万一掷骰子被拒绝了怎么办? 别从原始
里重新抽,而是专门把那些刚才助理给少、大模型给多的缺口( 的部分)收集起来做成“补差价池子”,只从这个残差池里重抽一个词!
神奇的事情发生了:每个词最终被留下的概率,正好等于“原本就接住的部分”加上“拒绝后补齐的缺口”,严丝合缝地精确还原出大模型的真实分布
而且还有个白捡的甜头:当大模型并行验证
举个极简数字算例,一秒验明“绝对无损”的神奇:
- 设词表只有两个词
A和B,大模型真实概率,草稿小模型偏得很离谱 。 - 看词
A:第一阶段草稿以0.2抽中A,因为直接 100% 接受(贡献 0.2);第一阶段抽中B(概率0.8)时,接受率仅,因此有 的总概率触发拒绝!拒绝后进入残差池——只有 A存在正差额,所以残差池 100% 抽中 A(再贡献0.5)。 - 合并总概率:最终输出
A的概率,输出 B的概率——和目标大模型 分毫不差!
03 把关键公式读成人话
修正拒绝采样的灵魂浓缩在这两行公式里——接受条件与残差分布:
把公式读成直觉:-
- 只要
,比值不小于 1,接受率就是 100%;只有草稿“高估”了词 ,才按 概率抽检淘汰。 - 一旦被拒,就去
里重抽。分子 只保留大模型比草稿多出来的那部分概率差额,正好把刚才因为 没抽够的“欠账”精准还清;数学上可以一行证明总拒绝概率恰好等于分母(总变差距离,见 信息论基础),两者完美约掉,最终精确等于 !
那么这套办法到底能提速多少倍?看期望加速比公式:
把公式读成直觉:-
- 分子除以
就是每轮平均推进的字数:当猜中率 、猜 步时,每轮平均推进约 3.69 个字。 - 分母
是付出的总时间代价:3.69 除以 1.25,立刻白捡 2.95 倍无损加速!公式也直白地告诉我们优化方向:拼命提高猜中率 ,同时把草稿成本 压到极致。
04 它在模型里怎么工作 & 与上下游的关系
为了摆脱“线上同时养一大一小两个模型、还要对齐两套词表”的运维烦恼,投机解码迅速进化出三大现代绝活:
- Medusa(arXiv:2401.10774 ↗)与 SpecInfer(arXiv:2305.09781 ↗):不要独立小模型了,直接在大模型脑袋顶上多长出几个极轻的预测头,一次性猜出未来多步的一整棵候选词树(Draft Tree),再用特殊的树状因果掩码让大模型单次前向一口气验完几十条分支,挑出活得最长的那一条。
- EAGLE / EAGLE-2(arXiv:2401.15077 ↗ / arXiv:2406.16858 ↗):敏锐地发现“猜离散汉字太跳跃,不如在顶层之前光滑的连续隐状态特征空间里自回归预测下一帧特征”,再直接借用大模型现成的输出头;EAGLE-2 更按置信度动态长出非均匀草稿树,把无损加速一举推上
的行业天花板。 - 与全链路协同增效:草稿小模型可以通过 模型量化 压到 INT4 或通过 知识蒸馏与剪枝 紧贴大模型口味,完全不用担心草稿量化掉精度(大模型终究会兜底);验证完剪掉猜错分支的缓存则直接依赖 PagedAttention KV Cache 的原地指针回滚。在落地场景中,它对冗长的 思维链测试时推理 和高度模板化的 Agent 工具调用 提速尤为震撼。
05 演化对比与避坑备忘
| 技术流派 | 需要独立小模型? | 需要额外训练? | 验证结构 | 典型无损加速比 |
|---|---|---|---|---|
| 原生双模型投机解码 | 需要(须同词表) | 否(开箱即用) | 线性单链 | |
| Prompt Lookup / N-gram | 否 | 否 | 线性链 / 树 | |
| Lookahead Decoding (arXiv ↗) | 否 | 否 | 雅可比窗口 + N-gram | |
| Medusa (arXiv ↗) | 否(多 MLP 头) | 是(轻训头部) | 静态树状注意力 | |
| EAGLE / EAGLE-2 (arXiv ↗) | 否(1 层特征解码器) | 是(轻量蒸馏) | 动态置信度树 |
生产环境开启投机解码,千万别踩进这三个反直觉的坑:
- 高并发大 Batch 场景开启反而会变慢! 投机解码赚的是“小批量下 Tensor Core 算力闲置”的免费红利。一旦线上并发冲到
,大模型自己已经进入计算受限区,此时再硬塞进 倍的草稿 Token,只会把单步延迟成倍拉长,形成负加速。正确姿势是监控实时 Batch Size,低并发开、高并发自动关。 - 独立草稿模型的词表必须 100% 对齐:哪怕草稿模型和大模型只差几个特殊 Token ID 映射(见 分词器总览),对齐概率分布的开销就足以吞光所有收益。拿异构小模型硬凑不如直接上同源的 EAGLE。
- 温度为 0 时出现极少数词翻转并非代码写错:在贪心解码下,并行算 6 个词和串行算 1 个词在 FP16/BF16 Tensor Core 里的矩阵累加顺序略有不同,当第一名和第二名得分几乎打平时,硬件浮点舍入差异偶尔会让它俩互换顺序——这是底层浮点非结合律,不是拒绝采样定理失效。
- 草稿步数
别设成死常数,用动态早停更香:写代码样板时草稿连猜 8 步都能全中,可写到需要拍脑袋推理的转折词时,第 1 步猜错后面 7 步全打水漂。现代引擎会盯着草稿模型自己的置信度——一旦发现草稿自己都在犹豫(概率骤降),立刻提前结束起草送大模型验收,绝不空烧额外步数。
需要查阅修正拒绝采样无损定理的逐行严格证明、树状因果掩码构造与蒙特卡洛分布验证 PyTorch 代码?按快捷键
M或点击顶部技术 Wiki即可随时切换。
自回归大语言模型在解码阶段 必须严格按顺序逐个生成 Token:要计算第
直观理解
好比一位资深总编(目标大模型)亲自逐字撰稿太慢,于是雇了一名反应极快的助理(草稿模型)。助理一口气飞快写出 5 个词,总编扫一眼就能同时批改这 5 个词:前 3 个词写得正合心意直接采纳,第 4 个词不满意就当场亲自改写并扔掉第 5 个词。只要助理大部分时候能猜中套路(比如写“因此我们可以得出结论”或代码括号),总编看一次稿件就能稳定推进好几个词,且成稿水准与总编亲自执笔分毫不差。
问题动机与演进背景
由 Roofline 模型可知,在小批量(Low Batch Size)自回归解码中,GPU 处于极端的 Memory-Bandwidth-Bound(显存带宽受限) 状态:
- 对一个 70B 参数模型执行 1 个 Token 的前向传播,需要从 HBM 完整读取 140 GB(FP16)权重;
- 对同一个模型并行执行
(例如 6 个)Token 的前向传播,需要读取的权重仍然是完全相同的 140 GB,多出的矩阵乘算力几乎全部落入原本闲置的 Tensor Core 算力空窗内!
这意味着,在硬件延迟上,验证 6 个 Token 的耗时几乎与生成 1 个 Token 相同。投机解码的本质就是用过剩的并行计算力去换取稀缺的显存带宽访问次数。 2022 至 2023 年间,Leviathan 等人(Google)与 Chen 等人(DeepMind)几乎同时独立提出了无损随机投机采样定理;随后,为了摆脱维护独立草稿模型的部署负担并进一步提升接受率,技术路线迅速演进出 Medusa(多头并行草稿与树注意力)、EAGLE / EAGLE-2(隐状态特征级自回归草稿)以及 Lookahead Decoding(无草稿模型的雅可比迭代并行解码)。
核心原理与数学推导
1. 修正拒绝采样无损定理(严格证明)
设在给定前缀
单步投机采样过程如下:
- 从草稿分布独立采样候选 Token:
; - 抽取均匀随机数
: - 若
,则接受 作为最终输出; - 否则拒绝
,转而从归一化的残差分布(Residual Distribution) 中重新采样一个修正 Token:
- 若
定理(严格分布等价性):由上述两阶段过程生成的随机变量
证明: 首先计算任意给定候选被接受的总概率
注意到对任意实数有恒等式
(由总变差距离定义,
现在计算最终输出恰好为某特定词
当连续验证
- 若首个被拒绝的位置是
,则保留前 个草稿,并从残差分布 采样第 个词(共推进 步),同时截断丢弃第 步之后的草稿 KV Cache; - 若全部
个草稿均被接受,还可直接从大模型已经顺带算出的 中免费采样第 个 奖励词(Bonus Token)!
因此,每一次大模型验证至少产出 1 个、至多产出
2. 期望生成长度与加速比公式
假设每步草稿与目标模型的平均单步接受率为独立同分布的
设草稿模型前向单步耗时与目标大模型并行验证耗时之比为成本系数
例如,当接受率
3. 前沿演进:Medusa、EAGLE 与 Lookahead Decoding
传统双模型投机解码(如 Llama-70B 配 Llama-7B)存在双模型显存占用、词表不一致、需分别对齐微调等运维痛点。后续演进围绕自草稿(Self-Drafting) 与树状验证(Tree Attention) 展开:
- Medusa(Cai et al., 2024,arXiv:2401.10774 ↗):去掉独立草稿模型,直接在目标大模型顶层隐状态
上并联挂载 个极轻量的残差 MLP 预测头(Medusa Heads),并行预测未来 步的候选 Top-k 词。由于各头独立预测缺乏序列条件依赖,Medusa 将多个头的候选组合成一棵候选词树(Draft Tree),并构造特殊的树状因果注意力掩码(Tree Attention Mask),使每个节点只关注树上其祖先路径,从而在目标大模型单次前向中并行验证数十条候选分支,挑选最长的合法接受路径。 - EAGLE / EAGLE-2(Li et al., 2024,arXiv:2401.15077 ↗ / arXiv:2406.16858 ↗):指出了传统草稿设计的根本洞见——直接预测离散 Token 存在采样随机性带来的高不确定性,而在顶层之前的连续隐状态特征空间(Feature Level)进行自回归预测则平滑得多。EAGLE 仅使用一个单层轻量 Transformer 解码器,将当前步的真实隐状态特征
与前移一步已确定的 Token 嵌入 拼接,自回归预测下一特征 ,再直接复用目标大模型冻结的 LM Head 映射为概率分布。EAGLE-2 进一步利用草稿模型自身的置信度分数动态构建非均匀草稿树(优先在确定性高的分支上向深处扩展),实现了高达 至 的无损加速,成为当前工业界最主流的投机解码范式。 - Lookahead Decoding(Fu et al., 2024,arXiv:2402.02057 ↗):完全无需任何草稿模型或额外训练权重。它把自回归解码视作求解非线性方程组的雅可比迭代(Jacobi Iteration),并行维护一个固定窗口的轨迹缓存,从中收集不断演化出的候选
-gram 片段并存入池中,同时在同一轮大模型前向中分出“前瞻分支(Lookahead Branch)”生成新 -gram 与“验证分支(Verification Branch)”并行校验匹配当前尾缀的候选 -gram,在代码与数学等重复度高的任务上可获 零训练加速。
算法架构与数据流图
以下流程图展示了现代基于草稿树(Draft Tree)与树状注意力(Tree Attention) 的投机解码完整闭环:
图表加载中...
复杂度与横向对比表
| 方法范式 | 是否需要独立小模型 | 是否需要额外训练 | 验证形态 | 典型无损加速比 | 核心优势与局限 |
|---|---|---|---|---|---|
| Vanilla Speculative Decoding | 需要(同词表小模型) | 否(开箱即用) | 线性链 | 实现最简,但草稿与目标分布偏差大时接受率偏低 | |
| Prompt Lookup / N-gram | 否 | 否 | 线性链 / 树 | 零额外算力,极度依赖输入与输出间的原文复制重合 | |
| Lookahead Decoding | 否 | 否 | 雅可比窗口 + N-gram | 无需训练,但会消耗额外并行 Token 算力预算 | |
| Medusa | 否(挂载多 MLP 头) | 是(轻量微调头部) | 静态树状注意力 | 参数极少;各头独立预测导致深度增加后接受率骤降 | |
| EAGLE / EAGLE-2 | 否(1 层特征解码器) | 是(轻量蒸馏训练) | 动态置信度草稿树 | 特征级自回归 + 动态树,当前综合性能与无损加速天花板 |
核心 PyTorch 参考实现
下面的自包含 PyTorch 代码完整实现了严格无损的修正拒绝采样投机解码单轮验证逻辑,并通过大样本蒙特卡洛实验直接验证:无论草稿分布
python
import torch
import torch.nn.functional as F
from typing import List, Tuple
def speculative_verify_step(
draft_tokens: torch.Tensor, # (gamma,) 草稿模型生成的候选 Token IDs
q_probs: torch.Tensor, # (gamma, V) 草稿模型在每步的概率分布
p_probs: torch.Tensor, # (gamma + 1, V) 目标模型并行验证输出的概率分布
) -> Tuple[List[int], int]:
"""
执行单轮严格无损投机验证(Modified Rejection Sampling)。
返回: (本轮最终接受并产出的 Token 列表, 被接受的草稿数量)
"""
gamma = draft_tokens.shape[0]
accepted_tokens: List[int] = []
num_accepted_draft = 0
for i in range(gamma):
tok = int(draft_tokens[i].item())
p_val = p_probs[i, tok]
q_val = q_probs[i, tok].clamp(min=1e-12)
# 接受概率 alpha = min(1, p(x) / q(x))
accept_prob = torch.clamp(p_val / q_val, max=1.0)
r = torch.rand(1, device=p_probs.device).item()
if r <= accept_prob.item():
accepted_tokens.append(tok)
num_accepted_draft += 1
else:
# 拒绝!构造归一化残差分布 p'(x) = norm(max(0, p(x) - q(x)))
residual = torch.clamp(p_probs[i] - q_probs[i], min=0.0)
residual_sum = residual.sum()
if residual_sum > 1e-12:
residual_dist = residual / residual_sum
else:
residual_dist = p_probs[i]
corrected_tok = int(torch.multinomial(residual_dist, num_samples=1).item())
accepted_tokens.append(corrected_tok)
# 一旦出现拒绝,立即终止后续草稿检验(调用方需回滚后续 KV Cache)
return accepted_tokens, num_accepted_draft
# 全部 gamma 个草稿均获接受:免费采样第 gamma + 1 个奖励 Token
bonus_tok = int(torch.multinomial(p_probs[gamma], num_samples=1).item())
accepted_tokens.append(bonus_tok)
return accepted_tokens, num_accepted_draft
if __name__ == "__main__":
# 蒙特卡洛实验:验证任意草稿分布 q 经修正拒绝采样后严格还原目标分布 p
torch.manual_seed(42)
V = 5
p_target = torch.tensor([0.05, 0.15, 0.40, 0.30, 0.10])
q_draft = torch.tensor([0.30, 0.30, 0.15, 0.15, 0.10]) # 故意制造明显偏差
num_trials = 50000
counts = torch.zeros(V)
for _ in range(num_trials):
draft_tok = torch.multinomial(q_draft, num_samples=1) # (1,)
# 单步验证 (gamma=1) 时只统计第 1 个位置的采样结果以核验单步分布等价性
out_toks, _ = speculative_verify_step(
draft_tokens=draft_tok,
q_probs=q_draft.unsqueeze(0),
p_probs=torch.stack([p_target, p_target], dim=0),
)
counts[out_toks[0]] += 1
empirical_p = counts / num_trials
print("True target distribution p: ", [round(x, 4) for x in p_target.tolist()])
print("Empirical speculative output: ", [round(x, 4) for x in empirical_p.tolist()])
print("L1 distance:", (empirical_p - p_target).abs().sum().item())工程实践与常见陷阱
工程实践
- 动态自适应草稿步数
:接受率随生成内容剧烈波动(生成样板代码时 ,开放创意推理时可能降至 )。现代推理引擎(如 vLLM 与 SGLang)根据草稿置信度阈值动态决定提前停止起草(Early Exit),避免在低置信区间浪费草稿步与树验证算力。 - 量化与蒸馏草稿模型协同:草稿模型本身也可进行 INT4 / FP8 激进量化 甚至结合 知识蒸馏与剪枝 进一步对齐目标分布。由于最终由全精度目标模型做严格拒绝采样把关,草稿模型的量化误差只可能轻微拉低接受率
,绝不会向最终输出引入任何质量退化。 - KV Cache 原地截断与分页协同:在 PagedAttention 引擎中,目标模型并行验证完
个候选节点后,只需将请求的长度指针 seq_len回调至实际接受位置并释放多余尾块(或把中选树分支的 KV 紧凑拷贝至连续逻辑槽),无需重新计算任何历史前缀。
常见陷阱
- 大 Batch 场景下的负加速(Compute-Bound 反转):投机解码成立的核心前提是 Decode 阶段处于显存带宽受限区且有大量闲置算力。当在线服务并发 Batch Size 极大(例如
)时,目标模型本身已逼近计算受限区,此时额外塞入 倍的验证 Token 会直接拉长单步延迟,不仅不加速反而降低系统总吞吐!生产部署需根据实时 Batch Size 动态启停投机解码。 - 数值精度差异导致的“伪无损”:当使用贪心解码(
)或极低温度时,批处理(并行验证 个 Token)与单步前向(1 个 Token)在 FP16/BF16 Tensor Core 上的 GEMM 归约顺序不同,可能导致极为接近的 Top-2 Logits 发生翻转,这是硬件浮点非结合律引起的微小现象,并非定理失效。 - 草稿与目标模型分词器不匹配:使用独立小模型作为草稿时,两者必须拥有完全一致的 词表与特殊 Token ID 映射;若词表不同,对齐概率分布将产生极高开销,通常不如直接采用 EAGLE 类同源特征草稿方案。
延伸阅读与参考论文
- Leviathan, Y., Kalman, M., & Matias, Y. (2023). Fast Inference from Transformers via Speculative Decoding. ICML 2023. arXiv:2211.17192 ↗(提出修正拒绝采样无损投机解码定理与加速比分析)
- Chen, C., et al. (2023). Accelerating Large Language Model Decoding with Speculative Sampling. arXiv:2302.01318 ↗(DeepMind 同期独立提出的 Speculative Sampling)
- Miao, X., et al. (2024). SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification. ASPLOS 2024. arXiv:2305.09781 ↗(率先提出基于树状注意力的多候选并行验证)
- Cai, T., et al. (2024). Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads. ICML 2024. arXiv:2401.10774 ↗(无独立草稿模型的多头并行预测框架)
- Li, Y., Wei, F., Zhang, C., & Zhang, H. (2024). EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty(ICML 2024,arXiv:2401.15077 ↗)& EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees(EMNLP 2024,arXiv:2406.16858 ↗)(特征级自回归草稿与动态草稿树)
- Fu, Y., Bailis, P., Stoica, I., & Zhang, H. (2024). Break the Sequential Dependency of LLM Inference Using Lookahead Decoding. ICML 2024. arXiv:2402.02057 ↗(基于雅可比迭代与 N-gram 池的无草稿并行解码)