外观
概念定义 · 什么是参数高效微调(PEFT)家族?
参数高效微调(PEFT, Parameter-Efficient Fine-Tuning) 指的是“冻结大模型绝大部分原始权重、只训练极少量(0.01%–2%)新增或选定参数来适配下游任务”的所有方法总称。
除了最出圈的 LoRA 之外,这个家族还包括:在层间插小型瓶颈模块的 Adapter、在输入或每层 KV 前面拼一段可学习虚拟词元的 Prefix / Prompt Tuning,以及直接学习缩放系数的 IA3——它们本质上都是在不同位置给原模型注入低维可控偏移。
01 问题从何而来:除了 LoRA,还能怎么“轻量化改造”大模型?
聊起低成本微调,今天大家脱口而出的几乎都是 LoRA。但在 2019 到 2022 年那段探索期,研究者其实同时走出了四条风格迥异的技术路线——有的往网络层之间塞新模块(Adapter),有的给输入开头贴隐形咒语(Prompt / Prefix Tuning),有的给神经元装音量旋钮(
一开始大家各说各话、互不兼容,直到 He 等人在 ICLR 2022(arXiv ↗)把这几套看似八竿子打不着的方法摆在同一个黑板上展开推导,才惊奇地发现:它们底层其实在做同一件事!
类比 · 改装一台精密赛车的四种流派
把预训练好的 Transformer 当作一台造价千万的出厂赛车,发动机缸体(主干权重)焊死了不能拆:
- Adapter 流派:在变速箱和车轮之间加装一小截可替换的外挂改装件;
- Prompt / Prefix Tuning 流派:不碰机械结构,而是在仪表盘和每个传感器的最前面贴上一排可自动调优的隐形指令便签;
- LoRA 流派:给原有齿轮并排套上一个极轻的微调副齿轮,跑比赛前还能直接焊成一体;
流派:只往关键油路和电路上拧几个增益旋钮,把重要信号放大、次要信号压低。
核心设问
这四种“少动干戈”的微调招式,在数学上到底有什么血缘关系?既然 LoRA 如今最流行,为什么 Adapter、软提示和激活缩放依然在多模态和极小样本场景中不可替代?
02 核心直觉与生活类比
要看懂整个 PEFT 家族,抓住每个流派“把力气使在哪儿”就够了:
类比 · 串行加装 vs 并行分流(Adapter)
早期的 Houlsby Adapter(arXiv ↗)在每层的自注意力后面和 FFN 后面各串行塞进一个“先压缩再还原”的小型瓶颈网络。信号流过主干后必须排着队再钻一次适配器,虽然非线性表达很强,但自回归生成一个字要多跑几十次串行计算,推理延迟明显变慢。后来的 Pfeiffer Adapter(arXiv ↗)删掉了一半插槽,而统一视角进一步证明:把适配器从“串在后面”改成“并行挂在旁边”(Parallel Adapter),不仅更快,效果往往还更好。
类比 · 从“绞尽脑汁写提示词”到“让梯度直接写暗号”(Prompt / Prefix Tuning)
手工写 Prompt(比如“请扮演资深律师”)只能从有限的汉字词表里挑词,表达粒度太粗。Prompt Tuning(arXiv ↗)索性在输入最前面拼上几十个连续浮点数向量,让反向传播直接学出一串“只有模型自己懂的高维暗号”;而 Prefix Tuning(arXiv ↗)和 P-Tuning v2(arXiv ↗)觉得只在入口贴便签影响太浅,干脆在每一层注意力的 Key 和 Value 前面都挂上专属虚拟前缀,从底层到顶层全程引导注意力走向。
而 1),直接对注意力的
类比 · 调音台上的推子:为什么几条向量就能撬动百亿模型?
很多人第一次见到
03 把关键公式读成人话
先看最经典的瓶颈 Adapter,它在输入隐藏状态
把公式读成直觉:-
- 关键细节在于把
初始化得接近全零:这样刚起步时 ,就像给水管接了一段默认关闭的旁通阀,绝不会一上来把预训练模型辛苦学到的表征冲散。
而 He 等人(2022 ↗)最精彩的一笔,是把看起来像“拼接假词元”的 Prefix Tuning 拆开,证明它和 Adapter、LoRA 共享同一张数学骨架:
把公式读成直觉:-
- 左边是原封不动的冻结注意力输出
;右边是查询 先和前缀键 点积(等价于降维投影)、过一遍 Softmax(等价于非线性激活)、再乘前缀值 (等价于升维还原)——这活脱脱就是一个并行挂在注意力旁边的非线性瓶颈适配器! - 于是整个 PEFT 宇宙瞬间被收束成一条统一公式:
: - Prefix Tuning:并行非线性修正 + 动态门控
; - Parallel Adapter:并行非线性修正(
,直接加到原输出上); - LoRA:把非线性激活拿掉,变成纯线性并行修正,从而换来“推理前无损合并权重”的超能力。
- Prefix Tuning:并行非线性修正 + 动态门控
- 基于这套统一视角,He 等人还提炼出两条黄金设计法则:并行插入(Parallel)普遍胜过串行插入(Sequential),而且当参数预算较充足时,改造 FFN 子层的收益往往高于只改注意力层——这也是他们提出经典 MAM Adapter(注意力用 Prefix + FFN 用 Parallel Adapter)的由来。
04 它在模型里怎么工作 & 与上下游的关系
把视野拉回整个大语言模型生态,PEFT 家族并不是“LoRA 一家独大、其余全进博物馆”,而是各自占据着最擅长的生态位:
- 通用对话与指令微调:LoRA / DoRA / QLoRA 凭借零推理延迟、不占上下文长度和成熟工具链,成为了 SFT 与 DPO 偏好优化 的绝对主力。
- 跨模态桥接器:在 LLaVA 等视觉语言模型(VLM)里,负责把图像特征翻译给冻结大语言模型的两层 MLP 投影器,本质上正是经典的 Adapter 架构;而软提示思想也广泛应用于视觉前缀对齐,并在不破坏残差连接和归一化层统计特性的前提下注入新模态信息。
- 多任务路由与模块化组合:当你手里攒了金融、医疗、代码十几个轻量化适配器,可以用轻量门控把它们动态加权融合(AdapterFusion / MoLoRA),以极低代价搭建出类似混合专家(MoE)的多领域系统;甚至在极小样本下,Prompt Tuning 用真实任务词的词嵌入做初始化,往往几分钟就能收敛出不俗的效果。
05 演化对比与避坑备忘
| 方法 | 统一视角定位 | 参数占比 | 推理额外延迟 | 占上下文窗口 | 最擅长场景 |
|---|---|---|---|---|---|
| Serial Adapter | 串行非线性残差 | 高(每层串行) | 否 | 跨模态 MLP 桥接、经典编码器 | |
| Parallel Adapter | 并行非线性残差 | 中(不可合并) | 否 | 与 FFN 并行的高表达定制 | |
| Prompt / Prefix | 软提示 / 门控前缀 | 低(增 KV 长度) | 是 | 超大模型轻量任务切换 | |
| 逐元素激活缩放 | 零(可合并) | 否 | 极小样本(16–64 条)多任务并发 | ||
| LoRA / DoRA | 并行低秩线性残差 | 零(可合并) | 否 | 通用对话、垂域微调与偏好对齐 |
实战落地时,有三个最常踩的坑值得提前避开:
- Prefix Tuning 会和 RoPE 打架:现代 Decoder-only 模型都在用旋转位置编码,如果把可训练前缀硬插在 KV Cache 前端且没算好位置偏移,长文本外推会直接崩掉,同时还会白白吃掉宝贵的上下文槽位。
- 串行 Adapter 在解码期延迟被放大:自回归生成每吐一个词都要串行过完所有层,访存受限的 GPU 上每层多两次小核函数启动,吞吐可能直接掉 20%–40%。
- 不同 PEFT 的学习率相差好几个数量级:Prompt / Prefix Tuning 常需要
级别的超大步长, 常用 ,如果你顺手沿用全参数 SFT 的 ,训练曲线会稳如一条水平直线。
需要查阅完整统一数学推导、MAM Adapter 组合法则以及包含
ParallelAdapter、Prefix与IA3的 PyTorch 实现?按快捷键M或点击顶部技术 Wiki即可随时切换。
参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)旨在冻结预训练基座模型的绝大部分权重,仅引入或微调极少量(通常不足
直观理解
如果把预训练 Transformer 视为一条高度精密的工业流水线:
- Adapter 是在流水线工序之间插入可更换的“小型加装模块”;
- Prompt / Prefix Tuning 是在流水线入口或每个工位旁贴上可自动优化的“虚拟指导便签”;
- LoRA 是给原有机器齿轮套上“轻量化微调套筒”;
则是给流水线上流过的半成品信号装上“旋钮式增益放大器”。
问题动机与演进背景
在 2019 至 2022 年间,随着 BERT、T5 与 GPT-3 的参数规模从亿级跃升至千亿级,研究者沿着四条不同直觉独立探索了参数高效迁移路径:
- 加法式架构注入(Additive / Adapter):Houlsby 等人(2019 ↗)最早提出在 Transformer 块内插入瓶颈 MLP;Pfeiffer 等人(2021 ↗)进一步精简位置以降低推理延迟。
- 软提示与前缀操控(Soft Prompting):受手工提示工程(Prompt Engineering)启发,Li & Liang(2021 ↗)的 Prefix Tuning 和 Lester 等人(2021 ↗)的 Prompt Tuning 尝试直接通过梯度下降学习连续的“虚拟词元向量”,绕开离散文本搜索。
- 重参数化(Reparameterization):以 LoRA 为代表,直接对权重矩阵增量做低秩分解,兼顾表达力与推理零开销。
- 激活缩放(Multiplicative / Scaling):Liu 等人(2022 ↗)的
发现,仅用极少量的学习向量对自注意力键值和 FFN 激活做逐元素乘法缩放,就能在小样本(Few-shot)场景中击败上下文学习。
面对百花齐放的变体,He 等人(2022 ↗)在 ICLR 2022 发表里程碑工作 Towards a Unified View of Parameter-Efficient Transfer Learning,从数学上证明了 Adapter、Prefix Tuning 与 LoRA 实际上都在以不同形式对隐藏表征施加低秩残差修正,为后续结构设计(如 Parallel Adapter 与混合 PEFT)提供了统一指导理论。
核心原理与数学推导
1. Adapter:Houlsby 与 Pfeiffer 瓶颈架构
Adapter 在预训练层中插入一个“降维—非线性激活—升维”的残差瓶颈网络(Bottleneck MLP)。设隐藏维度为
其中
两种经典插入拓扑存在显著权衡:
- Houlsby Adapter(串行双插):在每个 Transformer 层的多头自注意力(MHA)之后和 FFN 之后各串行插入一个 Adapter(位于残差连接与 LayerNorm 之前),每层增加两段串行计算。
- Pfeiffer Adapter(精简单插):消融实验表明 FFN 后的适配贡献远大于 MHA 后,因此仅在 FFN 子层之后插入单个 Adapter,将推理延迟开销减半且几乎不损性能。
2. Prefix Tuning、Prompt Tuning 与 P-Tuning v2
Prompt Tuning(Lester et al., 2021)仅在模型输入嵌入层前置
Prompt Tuning 参数量极微(仅
Prefix Tuning(Li & Liang, 2021)与 P-Tuning v2(Liu et al., 2022)将其扩展为深层连续前缀:在每一层自注意力的键矩阵
为缓解直接优化前缀矩阵的不稳定性,Prefix Tuning 在训练期引入一个临时两层 MLP 重参数化生成
3. :极简激活缩放(Infused Adapter by Inhibiting and Amplifying Inner Activations)
4. He et al. 的统一数学视角(Unified PEFT)
He 等人(2022)指出,尽管 Prefix Tuning 看似在修改输入上下文,只要将注意力权重按前缀部分与真实上下文部分拆解,就能揭示其与 Adapter、LoRA 完全同构的残差修正形式!
令
那么 Prefix Tuning 的注意力输出可以严格等价地重写为:
观察这一公式与其余 PEFT 范式的统一结构
- Prefix Tuning:以注意力
为输入,以 为“降维投影”、 为“非线性激活”、 为“升维投影”,并由输入相关的门控 与原输出做凸组合; - Parallel Adapter:与 FFN 并行施加修正
,固定 ; - LoRA:与线性投影并行施加线性修正
,省去非线性激活以换取推理权重合并能力。
基于这一统一视角,He 等人提炼出两条黄金设计法则:并行插入(Parallel)优于串行插入(Sequential),且修改 FFN 子层在大参数预算下往往比仅修改注意力更有效(由此导出了经典的 MAM Adapter:注意力用 Prefix Tuning + FFN 用 Parallel Adapter)。
算法架构与数据流图
下图展示了统一视角下四种 PEFT 机制在单个 Transformer 层内的挂载位置与信号流向:
图表加载中...
复杂度与横向对比表
下表从参数占比、推理延迟、上下文槽位消耗、多任务并发能力与统一视角归类五个维度全面对比主流 PEFT 方法:
| 方法 | 统一视角类型 | 典型可训练参数占比 | 额外推理延迟 | 占用上下文长度 | 多任务 Batch 并发 | 典型优势与局限 |
|---|---|---|---|---|---|---|
| Houlsby Adapter | 串行非线性残差 | 高(每层 2 次串行 MLP) | 否 | 较难 | 非线性表达强,但显著拖慢自回归解码速度 | |
| Pfeiffer / Parallel Adapter | 单串/并行非线性残差 | 中(并行可隐藏部分延迟) | 否 | 中等 | 速度优于 Houlsby;无法合并进原线性权重 | |
| Prompt Tuning | 仅输入层软提示 | 极低( | 极低(仅增加短前缀) | 是(消耗 | 极佳 | 超大模型(10B+)下有效;小模型难收敛 |
| Prefix / P-Tuning v2 | 全层注意力门控修正 | 低(增加每层 KV 长度) | 是(占用 KV 槽位) | 良好 | 深层干预表达强,但会缩减有效上下文窗口 | |
| 激活逐元素乘性缩放 | 极低( | 零(可合并进权重) | 否 | 极佳(逐样本向量乘) | 极小样本场景表现惊艳;大容量复杂任务略逊 LoRA | |
| LoRA / DoRA | 并行低秩线性残差 | 零(可合并进权重) | 否 | 良好(S-LoRA) | 综合性能、推理速度与生态支持最均衡的工业首选 |
核心 PyTorch 参考实现
下面的代码以极简、自包含的方式实现了 Parallel Adapter、Prefix Tuning 注意力层 与
python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F
class ParallelAdapter(nn.Module):
"""
He et al. (2022) 推荐的并行缩放瓶颈适配器:
Delta_h = s * W_up(GeLU(W_down(x)))
"""
def __init__(self, d_model: int, bottleneck_dim: int = 64, scaling: float = 1.0):
super().__init__()
self.down_proj = nn.Linear(d_model, bottleneck_dim, bias=True)
self.up_proj = nn.Linear(bottleneck_dim, d_model, bias=True)
self.scaling = scaling
# 近零初始化 up_proj,确保初始时刻不扰动基座分布
nn.init.zeros_(self.up_proj.weight)
nn.init.zeros_(self.up_proj.bias)
def forward(self, x: torch.Tensor) -> torch.Tensor:
# x: [B, T, d_model] -> return: [B, T, d_model]
return self.scaling * self.up_proj(F.gelu(self.down_proj(x)))
class PrefixAndIA3Attention(nn.Module):
"""
演示冻结基座单头/多头注意力如何同时兼容 Prefix Tuning 与 (IA)^3 缩放。
"""
def __init__(
self,
d_model: int,
prefix_len: int = 0,
use_ia3: bool = False,
):
super().__init__()
self.d_model = d_model
self.prefix_len = prefix_len
self.use_ia3 = use_ia3
# 冻结的基座 Q, K, V 投影矩阵
self.q_proj = nn.Linear(d_model, d_model, bias=False)
self.k_proj = nn.Linear(d_model, d_model, bias=False)
self.v_proj = nn.Linear(d_model, d_model, bias=False)
for p in [*self.q_proj.parameters(), *self.k_proj.parameters(), *self.v_proj.parameters()]:
p.requires_grad_(False)
# Prefix Tuning: 每层独立的可训练键/值前缀 [1, prefix_len, d_model]
if prefix_len > 0:
self.prefix_k = nn.Parameter(torch.randn(1, prefix_len, d_model) * 0.02)
self.prefix_v = nn.Parameter(torch.randn(1, prefix_len, d_model) * 0.02)
# (IA)^3: 初始化为全 1 的逐通道缩放向量 [1, 1, d_model]
if use_ia3:
self.ia3_k = nn.Parameter(torch.ones(1, 1, d_model))
self.ia3_v = nn.Parameter(torch.ones(1, 1, d_model))
def forward(self, x: torch.Tensor) -> torch.Tensor:
"""
x: [B, T, d_model] -> out: [B, T, d_model]
"""
B, T, D = x.shape
q = self.q_proj(x) # [B, T, D]
k = self.k_proj(x) # [B, T, D]
v = self.v_proj(x) # [B, T, D]
# 若启用 (IA)^3,先对 K/V 施加逐通道缩放
if self.use_ia3:
k = k * self.ia3_k
v = v * self.ia3_v
# 若启用 Prefix Tuning,将可学习前缀拼接到序列前端
if self.prefix_len > 0:
pk = self.prefix_k.expand(B, -1, -1) # [B, L_p, D]
pv = self.prefix_v.expand(B, -1, -1) # [B, L_p, D]
k = torch.cat([pk, k], dim=1) # [B, L_p + T, D]
v = torch.cat([pv, v], dim=1) # [B, L_p + T, D]
# 构造带前缀可见性的因果掩码:所有 token 均可看到前缀,且上下文严格因果
total_k = k.size(1)
scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(D) # [B, T, L_p + T]
causal = torch.triu(torch.ones(T, T, device=x.device, dtype=torch.bool), diagonal=1)
if self.prefix_len > 0:
prefix_allow = torch.zeros(T, self.prefix_len, device=x.device, dtype=torch.bool)
mask = torch.cat([prefix_allow, causal], dim=1) # [T, L_p + T]
else:
mask = causal
scores = scores.masked_fill(mask.unsqueeze(0), float("-inf"))
attn = F.softmax(scores, dim=-1)
return torch.matmul(attn, v) # [B, T, D]
if __name__ == "__main__":
x = torch.randn(2, 12, 128)
adapter = ParallelAdapter(d_model=128, bottleneck_dim=16)
prefix_attn = PrefixAndIA3Attention(d_model=128, prefix_len=8, use_ia3=True)
y = prefix_attn(x) + adapter(x)
trainable = sum(p.numel() for p in [*adapter.parameters(), *prefix_attn.parameters()] if p.requires_grad)
print(f"Output shape: {tuple(y.shape)}, Trainable PEFT params: {trainable}")工程实践与常见陷阱
工程实践
- 根据部署与任务约束选型:
- 追求零推理开销与通用对话/指令微调:首选 LoRA / DoRA / QLoRA,并可直接衔接 DPO 偏好对齐;
- 需要在同一推理批次中服务几十个不同分类/抽取任务且样本极少(16~64 条):
或 Prompt Tuning 的按样本并发切换开销最低; - 跨模态桥接(如将视觉编码器特征映射到冻结 LLM):Adapter(两层 MLP Projector) 依然是 LLaVA 等多模态 VLM 架构的绝对主力。
- 软提示与词元初始化:训练 Prompt Tuning 时,随机高斯初始化往往收敛极慢;实践中常从词表高频词或任务描述词(如“分类”“摘要”)的真实预训练词嵌入中采样初始化软提示向量,可显著加快早期收敛。
- 路由组合多适配器(AdapterFusion / MoLoRA):当存在多个领域适配器时,可通过轻量门控网络动态加权组合多个已训练好的 Adapter 或 LoRA,构建近似混合专家(MoE)的模块化多任务系统,避免跨领域负迁移。
常见陷阱
- Prefix Tuning 与 RoPE 位置编码的冲突:在现代使用旋转位置编码(RoPE)的 Decoder-only 模型中,若将可训练前缀直接拼接在应用 RoPE 之后的 KV Cache 前端,且未正确处理位置偏移,会导致长上下文外推时注意力分布崩坏;同时前缀会消耗 KV Cache 显存并缩短最大可用上下文长度。
- 串行 Adapter 在自回归解码期的延迟放大:自回归生成属于访存受限(Memory-Bound)阶段,每生成一个词元都要串行穿过所有层。Houlsby 串行 Adapter 每层引入两次额外内核启动(Kernel Launch)与显存读写,在小批量解码时可能令吞吐量下降 20% 至 40%。
- 超参数尺度失配:不同 PEFT 家族对学习率的敏感度差异极大——Prompt Tuning 与 Prefix Tuning 往往需要极大学习率(
量级,或带重参数化 MLP 用 ), 常用 ,而直接套用 SFT 的 会导致参数几乎停滞不动。
延伸阅读与参考论文
- Houlsby, N., Giurgiu, A., Jastrzebski, S., et al. (2019). Parameter-Efficient Transfer Learning for NLP. ICML 2019. arXiv:1902.00751 ↗
- Pfeiffer, J., Kamath, A., Rücklé, A., et al. (2021). AdapterFusion: Non-Destructive Task Composition for Transfer Learning. EACL 2021. arXiv:2005.00247 ↗
- Li, X. L., & Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. ACL 2021. arXiv:2101.00190 ↗
- Lester, B., Al-Rfou, R., & Constant, N. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP 2021. arXiv:2104.08691 ↗
- Liu, X., Ji, K., Fu, Y., et al. (2022). P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks. ACL 2022. arXiv:2110.07602 ↗
- Liu, H., Tam, D., Muqeeth, M., et al. (2022). Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning (
). NeurIPS 2022. arXiv:2205.05638 ↗ - He, J., Zhou, C., Ma, X., Berg-Kirkpatrick, T., & Neubig, G. (2022). Towards a Unified View of Parameter-Efficient Transfer Learning. ICLR 2022. arXiv:2110.04366 ↗