Skip to content

神经电路发现与 Induction Head

解析 Transformer 残差流 QK/OV 电路理论、诱导头两层接力机制与因果激活修补发现算法。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是「神经电路与 Induction Head」?

神经电路(Circuits) 是把大模型拆解成“电子主板”的研究方法:我们不再把模型当成一个黑箱,而是顺藤摸瓜找出哪几个注意力头、哪几条连线组成了一个具体算法。诱导头(Induction Head) 则是人类在大模型里破译出的第一条明星电路——它由两层注意力头默契接力,专门识别 [A][B]...[A] 并顺手补全 [B],正是大模型能够“看几个例子就现学现卖(上下文学习)”的底层发动机。

01 黑箱里真藏着“算法电路”吗? ​

当你给大模型输入几个翻译例子,或者让它按某种新格式整理表格,它无需更新哪怕一个权重参数,就能当场照葫芦画瓢——这就是神奇的上下文学习(In-Context Learning, ICL)。

早期人们以为这只是海量参数堆出来的玄学统计巧合。但 2022 年 Anthropic 的研究者在 In-context Learning and Induction Heads ↗ 中盯着模型预训练曲线,抓到了一个极其反常的“瞬间”:在训练到某个特定步数时,验证集损失突然往下砸出一个小坑,同一刹那,模型的上下文学习能力像打通任督二脉一样断崖式飙升。

解剖模型内部后他们震惊地发现,正是在那个相变窗口里,模型自发演化出了一套精巧的两层流水线电路——诱导头(Induction Head)。如果把刚长出来的诱导头精准敲除,模型的上下文学习能力立刻被打回原形!

核心设问

在毫无人工编程指导的情况下,Transformer 的注意力矩阵到底是如何“自我组装”成一条精密算法电路的?我们又该如何从成百上千个注意力头里,用严格的因果实验把这条隐秘电路精准挖出来?

02 核心直觉:两层注意力头的“双人接力抄答案” ​

要看懂诱导头,先记住一个颠覆直觉的视角:Transformer 里的每一层不是把数据覆盖重写,而是共用同一条叫做 残差流(Residual Stream) 的公共传送带。每个 自注意力头 都可以随时从传送带读信息,也可以往上面贴新便签。

现在假设模型读到一句话:... 哈利 波特 ... 哈利,它怎么知道下一个词大概率是 波特?单靠一层注意力其实办不到——因为当前的 哈利 只能靠字面相似去认出前面的 哈利,它并不知道该往右偏一格去找 波特!但只要两层头默契配合,奇迹就发生了:

类比 · 图书馆里的“双人寻书接力”
  1. 第一棒:前词头(Previous-Token Head)负责贴便签。它在第 1 层专门干一件死板的活——靠 位置编码 永远往左看一格,把左边词的名字抄下来贴在当前词身上。于是站在 波特 这个位置,传送带上就被贴了一张隐藏便签:【我的前一个词是:哈利】。
  2. 第二棒:诱导头(Induction Head)负责按便签抓人。到了第 2 层,末尾的 哈利 拿着寻人启事回头大喊:“谁的便签上写着‘前一个词是哈利’?” 这一嗓子直接精准命中了当年那个 波特 位置!诱导头立刻把 波特 的本体原样抄写到末尾,下一个词稳稳输出 波特!

把这个双人接力再往深处想一步,你就能彻底明白为什么至少需要 两层 Transformer 才能涌现上下文学习:

  • 单层模型:注意力只能直接比较词元本身的相似度,当前的 哈利 看得见过去的 哈利,却没有办法自动“顺藤摸瓜向右偏移一格”去读取 波特。
  • 双层及多层模型:第 1 层悄悄完成“左邻居信息右移一格”的预处理,第 2 层再做内容匹配与复制。两个极简操作一串联,就合成了通用的算法级模式补全器!
  • 跨语境泛化:更厉害的是,这套电路根本不背诵具体单词——哪怕把 哈利 波特 换成从未见过的乱码 Zqx9 Klm2 ... Zqx9,或者泛化成更抽象的“英语单词 → 法语翻译”接力,诱导头照样能照单搬运,瞬间解锁少样本上下文学习。
类比 · 电影剪辑室的“角色分工”(IOI 真实语言电路)

诱导头只是冰山一角。后来研究者在 GPT-2 Small 里解剖了一道真实语法题——当玛丽和约翰去商店时,约翰递了一杯饮料给 ___(IOI, Wang et al., 2022 ↗),居然揪出了 26 个注意力头组成的分工剧组:

  • 重复词头发现“约翰”出现了两次,贴上“重复主语”标签;
  • 主语抑制头专门给“约翰”的候选分数泼冷水;
  • 人名搬运头(Name Mover) 最后大摇大摆地把没被划掉的“玛丽”搬到句尾作答!

03 把关键公式读成人话 ​

Anthropic 的电路理论(Elhage et al., 2021 ↗)把单个注意力头拆成了两个互不干扰的动作:QK 电路(决定看哪里)和 OV 电路(决定搬什么)。它们跨层配合共有三种组合方式——后层头的 Q、K 或 V 读取前层写入的信息。诱导头走的正是 K-Composition 路径(第 1 层前词头 h1 写入,第 2 层诱导头 h2 的键矩阵 WKh2 读取),核心匹配打分长这样:

Score(t→i)∝eA⊤(WQKh2WOVh1)eA

**把公式读成直觉:**别被四个字母吓到,从右往左念就是一段侦探破案剧本:

  • WOVh1eA:第 1 层前词头把词 A 的身份编码进专属“便签暗号”,贴到了紧随其后的位置 i(词 B 所在处)。
  • eA⊤WQKh2(⋯):第 2 层诱导头拿着末尾的新词 A 去核对全句的暗号。当 WQKh2 与 WOVh1 完美咬合时,哪怕是素未谋面的随机词 A,自己和自己的暗号点积也会爆表,瞬间把注意力锁死在位置 i,紧接着再靠 h2 的复制电路把位置 i 上的 B 顺手抄出来!

而要像侦探一样在几百个头里验证“究竟是谁干了这事”,研究者发明了因果排查大杀器——激活修补(Activation Patching),其超快近似版 归因修补(Attribution Patching) 写出来只有一行:

Δm(v)≈(avclean−avcorrupt)⊤∂m∂av

**把归因公式读成直觉:**这行公式其实是在用一阶微积分算一笔快账:avclean−avcorrupt 代表把节点 v 从“干扰状态”换回“干净状态”时的激活改变量,∂m∂av 则是最终答案指标对这个节点的敏感度。两者做个内积,就能在不逐个重启前向推理的情况下,仅靠一次反向传播给全网所有节点排出因果嫌疑榜!

类比 · 维修师傅的“好件替换法”

一台电脑(模型)跑正常句子 clean 时答对了“玛丽”,跑改动了名字的干扰句 corrupt 时答成了“约翰”。想知道主板上哪块芯片是真凶?维修师傅把 clean 运行时某块芯片(某个注意力头)的电信号原样录下来,移植插进正在跑 corrupt 的主板里。如果主板插上这块芯片后瞬间改口答对“玛丽”,那它就是核心电路成员!这就是严格的激活修补(Activation Patching),而上面的归因公式正是它的极速筛查版。

实战中做激活修补时,通常还要区分两种互为补充的诊断方向:

  • 去噪修补(Denoising):往干扰句里贴干净激活,专门检验某节点是否“独自就足以救活答案”(充分性)。
  • 加噪修补(Noising):往干净句里贴干扰激活,专门检验破坏某节点是否“一定会让答案崩掉”(必要性)。

04 电路发现工具对比,以及它在知识网里的位置 ​

从纯手工画电路到一键自动挖图谱,因果定位工具经历了从慢到快的演进:

定位方法核心做法需要跑几次模型?一句话定位
Activation Patching逐个把干净激活移植进干扰运行O(N) 次前向因果最严格的“金标准”,小模型精准体检
Path Patching沿着节点间的具体连线做定向替换O(|E|) 次前向专抓隐藏的“替补头”,绘制完整 IOI 电路图
ACDC递归自动剪枝不重要连边(Conmy et al., 2023 ↗)O(|E|) 次前向省去人工猜想,但面对百亿大模型依然偏慢
Attribution Patching一阶梯度近似因果恢复(Syed et al., 2023 ↗)仅 2 前向 + 1 反向闪电初筛全网所有节点和边,大模型首选

在整张大模型知识网中,神经电路分析承接了 自注意力机制 与 位置编码 的底层结构,直接解释了 涌现与顿悟(Grokking) 中的能力相变,也为 长上下文检索 找到了微观根源;同时,激活修补思想直接演化出 知识编辑(ROME) 中的因果追踪,并与 稀疏自编码器(SAE) 结合,把粗粒度的“头级电路”升级为更纯净的“单义特征电路”。

05 四个最容易踩的实验坑与演进趋势 ​

  1. 千万别用“直接置零”做消融:新手常把某个注意力头的输出直接乘以 0 来测它重不重要,结果模型因为收到从未见过的零向量分布而整段崩溃,让你误以为每个头都是救命稻草。一定要用同长度、仅替换关键实体词的对称样本做激活替换。
  2. 小心隐藏的“备胎头”(Hydra 效应):大模型内部存在惊人的冗余容错。当你拔掉负责复制名字的主力头时,旁边原本打酱油的“备份头”会立刻顶上去把答案救回来,让你误判主力头不重要——遇到这种情况必须用路径修补或联合消融才能看清真相。
  3. 别忽略 LayerNorm 的非线性耦合:理论画图时常把残差流当成纯线性传送带,但真实模型每层之前都有归一化缩放;跑归因修补时如果忽略缩放分母变化,很容易高估或低估某些层的贡献。
  4. 测诱导头有个 3 秒偷懒技巧:想知道模型里哪些头是诱导头,根本不用跑复杂归因。直接造一串完全随机重复的乱码序列 [A B C D][A B C D] 喂进模型,统计每个头在后半段盯着前半段“下一格”的注意力均值,分数冲上 0.8 以上的清一色全是诱导头!

随着模型越做越大,神经电路研究也正从“注意力头级连线”迈向基于单义特征的“特征级电路”,一步步把大模型黑箱变成可审计的白盒程序。

想查看 QK/OV 完整矩阵推导、五种自动电路发现算法横向对比表,以及可直接运行的 PyTorch Activation Patching & Attribution Patching 源码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

神经电路(Circuits) 是机制可解释性(Mechanistic Interpretability)中“自下而上(Bottom-Up)”逆向工程的核心范式:它将庞大的神经网络视作由注意力头、前馈子层等节点构成的有向计算图,试图在其中定位执行特定推理或语言子任务的最小稀疏子图。在所有已发现的 Transformer 电路中,诱导头(Induction Head) 是最具里程碑意义的典范——仅靠两层注意力头的精妙接力,它就在网络内部涌现出通用的 [A][B]...[A] -> [B] 模式补全算法,被证实是驱动大语言模型 上下文学习(In-Context Learning, ICL) 能力突现的核心引擎。

直观理解

把 Transformer 残差流 想象成一条不断传递的“公共白板”,每个注意力头都是站在白板旁的专职速记员。诱导头电路只需两位速记员配合:第 1 层的“前词头” 负责把每个词左边邻居的名字抄写到当前位置(给 B 贴上“我前面是 A”的便签);第 2 层的“诱导头” 读到新出现的 A 时,回头全网搜索贴有“前面是 A”便签的位置,一眼锁定 B 并把 B 直接复制成下一个预测词。

起源背景与演进脉络 ​

2021 年,Elhage 等人在 A Mathematical Framework for Transformer Circuits 中突破性地将 Transformer 重构为残差流(Residual Stream)上的线性读写系统,剥离出 QK 电路(决定关注哪里) 与 OV 电路(决定搬运什么) 两大低秩双线性算子,并首次在两层纯注意力模型中发现了由“前词头 + 诱导头”组成的跨层组合电路。

2022 年,Olsson 等人进一步将这一发现扩展到涵盖不同规模的语言模型,观测到惊人的相变现象(Phase Change):在预训练的特定窗口期内,诱导头突然形成,与此同时模型验证集损失出现明显凹陷,而上下文学习(ICL)得分(定义为序列后段词元相对于前段词元的损失降幅)呈断崖式跃升。同年底,Wang 等人在 GPT-2 Small 上完成了首个真实自然语言任务的端到端电路解剖——间接宾语识别电路(Indirect Object Identification, IOI),精准定位出由 26 个注意力头组成的 7 类功能角色(如 Name Mover Head、S-Inhibition Head、Duplicate Token Head)。为了摆脱极度耗时的纯手工消融,2023 年社区先后推出 ACDC(自动电路发现) 与基于一阶泰勒展开的 归因修补(Attribution Patching, AtP / EAP),将全网因果搜索速度提升了数个数量级。

核心原理与数学推导 ​

1. 残差流视角下的 QK / OV 电路分解 ​

忽略层归一化与 MLP 子层,设第 l 层残差流状态为 X∈RN×d。单个 自注意力头 h 的输出可写为两个完全解耦的线性路径之积:

h(X)=softmax(XWQh(WKh)⊤X⊤dh+Mcausal)⏟Ah∈RN×NXWVhWOh⏟WOVh∈Rd×d

记 WQKh=WQh(WKh)⊤∈Rd×d 与 WOVh=WVhWOh∈Rd×d,其中 WE∈RV×d 为词嵌入矩阵,WU∈Rd×V 为解嵌入矩阵(Unembedding):

  • QK 电路 WEWQKhWE⊤∈RV×V:决定当前查询词元 ti 对历史键词元 tj 的注意力打分偏好(“看哪里”)。
  • OV 电路 WEWOVhWU∈RV×V:决定一旦关注了词元 tj,将其信息写入残差流后会提升或抑制词表中哪些候选词的 Logits(“写什么”)。

当多个层堆叠时,前层头 h1 的输出写入残差流,被后层头 h2 读取,产生三种跨层组合(Composition):

  1. Q-Composition:后层头的查询向量读取前层写入的特征;
  2. K-Composition:后层头的键向量读取前层写入的特征(诱导头的核心组合路径);
  3. V-Composition:后层头的值向量读取前层写入的特征。

2. Induction Head 的 K-Composition 数学实现 ​

考虑重复序列模式 …,[A],[B],…,[A]→?(设第一个 A 在位置 i−1,B 在位置 i,当前末尾的 A 在位置 t):

  1. 第 1 层前词头(Previous-Token Head, h1):依赖 位置编码 使注意力权重严格聚焦于紧邻前位 Ai,i−1h1≈1。其 OV 电路将 A 的词元特征写入位置 i 的残差流子空间中:xi(1)=xi(0)+WOVh1xi−1(0)≈eB+WOVh1eA
  2. 第 2 层诱导头(Induction Head, h2):利用 K-Composition 让自身键矩阵 WKh2 读取 h1 写入的子空间,使查询 eA 与位置 i 键向量的点积获得极大值:(eA⊤WQh2)(WKh2)⊤(WOVh1eA)=eA⊤(WQKh2WOVh1)eA≫0于是位置 t 的注意力瞬间精准锁定在位置 i(即 B 所在处),随后 h2 充当复制电路(Copying OV Circuit),其 WEWOVh2WU 具有大正特征值,直接把 eB 映射为高置信度的词表预测 B。

3. Activation Patching 与 Attribution Patching(因果定位) ​

为了在复杂模型中严格验证某条边或某个注意力头是否属于目标电路,需使用因果中介分析——激活修补(Activation Patching / Interchange Intervention)。

构造一对仅在关键语义上不同的输入:干净样本 xclean(如 "When Mary and John went to the store, John gave a drink to",期望输出 " Mary")与扰动样本 xcorrupt(如把主语替换为 "Bob")。定义任务标量指标 m(x)(常取正确词与干扰词的 Logit 差值 Logit(Mary)−Logit(John))。分别缓存两次前向传播的全部节点激活,在运行扰动样本(Denoising 模式)时,将节点 v 的激活强行替换为干净运行时的激活 avclean,测得该节点的因果恢复效应:

Δm(v)=m(xcorrupt∣do(av←avclean))−m(xcorrupt)

逐节点/逐边穷举修补需要 O(|V|+|E|) 次前向传播,在大模型上成本极高。归因修补(Attribution Patching, AtP) 利用一阶泰勒展开,只需两次前向 + 一次反向传播即可同时估算全网所有节点的因果重要性:

Δm(v)≈(avclean−avcorrupt)⊤∂m∂av|xcorrupt

架构与数据流 ​

下图展示了两层 Induction Head 借助残差流正交子空间实现 K-Composition 接力的信息流动:

图表加载中...

电路发现方法横向对比 ​

发现方法因果严格性计算复杂度(节点/边数 N)适用粒度主要优势与局限
Activation Patching精确因果干预O(N) 次前向传播注意力头、MLP、词元位置金标准因果验证,但在百亿模型上逐边扫描开销过大
Path Patching路径级精确因果O(|E|) 次前向传播节点间定向信息边可剥离间接补偿效应(如 Backup Name Mover),精准绘制 IOI 图谱
ACDC精确递归剪枝O(|E|) 次前向传播自动子图剪枝全自动保留 KL 散度增量低于阈值的边,但对大网络依然耗时
Attribution Patching (AtP)一阶线性近似O(1)(2 前向 + 1 反向)全网节点与边初筛速度极快,但当梯度局部饱和(如 Softmax 极端值)时存在近似误差
EAP-IG(积分梯度归因)多点路径积分近似O(S) 次反传(常取 S=5)大规模自动电路发现克服 AtP 零梯度盲区,在忠实度与效率之间取得极佳平衡

核心 PyTorch 参考实现 ​

下面通过 PyTorch Forward Hook 实现标准的 Denoising Activation Patching 与一阶 Attribution Patching,用于定位多头注意力模型中对特定 Logit 差值贡献最大的关键注意力头:

python
import torch
import torch.nn as nn


def logit_diff_metric(logits: torch.Tensor, target_id: int, distractor_id: int) -> torch.Tensor:
    """计算末尾位置的 Logit 差值:Logit(correct) - Logit(distractor)"""
    last_logits = logits[:, -1, :]
    return (last_logits[:, target_id] - last_logits[:, distractor_id]).mean()


@torch.no_grad()
def run_activation_patching(
    model: nn.Module, attn_modules: list[nn.Module],
    clean_ids: torch.Tensor, corrupt_ids: torch.Tensor, target_id: int, distractor_id: int,
) -> torch.Tensor:
    """逐层对注意力输出执行 Denoising Activation Patching,返回归一化因果恢复得分"""
    clean_cache = {}
    hooks = [
        mod.register_forward_hook(lambda m, i, o, idx=idx: clean_cache.setdefault(idx, o.detach().clone()))
        for idx, mod in enumerate(attn_modules)
    ]
    clean_metric = logit_diff_metric(model(clean_ids), target_id, distractor_id).item()
    for h in hooks:
        h.remove()

    corrupt_metric = logit_diff_metric(model(corrupt_ids), target_id, distractor_id).item()
    denom = max(abs(clean_metric - corrupt_metric), 1e-6)

    recovery_scores = torch.zeros(len(attn_modules))
    for layer_idx, mod in enumerate(attn_modules):
        h = mod.register_forward_hook(lambda m, i, o, idx=layer_idx: clean_cache[idx])
        patched_metric = logit_diff_metric(model(corrupt_ids), target_id, distractor_id).item()
        h.remove()
        recovery_scores[layer_idx] = (patched_metric - corrupt_metric) / denom
    return recovery_scores


def run_attribution_patching(
    model: nn.Module, attn_modules: list[nn.Module],
    clean_ids: torch.Tensor, corrupt_ids: torch.Tensor, target_id: int, distractor_id: int,
) -> torch.Tensor:
    """一阶归因修补(AtP):2 次前向 + 1 次反向快速估算全网各层因果贡献"""
    clean_acts, corrupt_acts, corrupt_grads = {}, {}, {}

    hooks = [
        mod.register_forward_hook(lambda m, i, o, idx=idx: clean_acts.setdefault(idx, o.detach()))
        for idx, mod in enumerate(attn_modules)
    ]
    with torch.no_grad():
        model(clean_ids)
    for h in hooks:
        h.remove()

    fwd_hooks = [
        mod.register_forward_hook(lambda m, i, o, idx=idx: corrupt_acts.setdefault(idx, o.detach()))
        for idx, mod in enumerate(attn_modules)
    ]
    bwd_hooks = [
        mod.register_full_backward_hook(lambda m, gi, go, idx=idx: corrupt_grads.setdefault(idx, go[0].detach()))
        for idx, mod in enumerate(attn_modules)
    ]

    model.zero_grad()
    logit_diff_metric(model(corrupt_ids), target_id, distractor_id).backward()
    for h in fwd_hooks + bwd_hooks:
        h.remove()

    # 一阶泰勒内积估算:(a_clean - a_corrupt) · (dMetric / da_corrupt)
    return torch.tensor([((clean_acts[i] - corrupt_acts[i]) * corrupt_grads[i]).sum().item() for i in range(len(attn_modules))])

工程实践与常见陷阱 ​

工程实践

  1. 优先使用对称扰动而非零消融(Zero Ablation):直接把某个注意力头输出置零会令激活跌出训练分布(Out-of-Distribution),诱发后续层剧烈失真。应优先采用 同分布替换(Resample / Symmetric Token Swap) 或均值消融(Mean Ablation),且保证干净样本与扰动样本词元长度严格一致。
  2. 区分“去噪(Denoising)”与“加噪(Noising)”两种修补方向:在扰动流中注入干净激活(Denoising)检验节点的充分性(对 OR 门电路敏感);在干净流中注入扰动激活(Noising)检验节点的必要性(对 AND 门电路敏感),二者结合才能避免漏掉并行分支。
  3. 借助前缀匹配得分快速探测诱导头:无需复杂反传,只需构造长度为 2L 的完全随机重复词元序列 [R_1...R_L][R_1...R_L],统计每个注意力头在后半段位置 t 对前半段后继位置 t−L+1 的平均注意力权重(Prefix Matching Score),即可在数秒内揪出全网所有诱导头。

常见陷阱

  1. 自我修复现象(Hydra Effect / Backup Heads):当你单独敲除主电路中的某个关键头(如 IOI 中的主力 Name Mover Head)时,下游原本休眠的“备份头”会自动接管任务,导致单点消融下的性能降幅远小于其真实贡献。排查此类冗余必须结合 路径修补(Path Patching) 或联合消融。
  2. 忽视 LayerNorm 的非线性耦合:理论推导常把残差流近似为纯线性通道,但实际模型在每个子层前都有 RMSNorm / LayerNorm。在执行归因修补或直接读取 Logit Lens 时,若缩放分母发生剧变,需冻结归一化尺度或采用梯度校正以免误判方向贡献。
  3. 电路泛化过度解读:在特定短模板(如 IOI)中发现的局部电路,往往只是更通用语义机制的切片;在多义叠加严重的百亿模型中,仅以注意力头为粒度分析容易遗漏跨头共享的稀疏特征电路,需逐步结合 SAE 单义特征 进行精细化追踪。

延伸阅读与参考论文 ​

  • Transformer 电路数学框架:Elhage et al., A Mathematical Framework for Transformer Circuits, Anthropic, 2021 (Transformer Circuits ↗).
  • 诱导头与上下文学习相变:Olsson et al., In-context Learning and Induction Heads, Transformer Circuits Thread, 2022 (arXiv:2209.11895 ↗).
  • 自然语言端到端电路典范(IOI):Wang et al., Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small, ICLR 2023 (arXiv:2211.00593 ↗).
  • 自动化电路发现(ACDC):Conmy et al., Towards Automated Circuit Discovery for Mechanistic Interpretability, NeurIPS 2023 (arXiv:2304.14997 ↗).
  • 高效归因修补(Attribution Patching):Syed et al., Attribution Patching Outperforms Automated Circuit Discovery, 2023 (arXiv:2310.10348 ↗).