Skip to content

叠加态(Superposition)与稀疏自编码器(SAE)

解析神经网络多义性与高维叠加态几何机理,以及稀疏自编码器解耦单义特征的架构演进。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是「叠加态与稀疏自编码器(SAE)」?

叠加态(Superposition) 是大模型为了在有限维度里塞下海量知识而玩的一招“空间折叠术”:它让一个神经元同时兼任好几个风马牛不相及的语义角色。稀疏自编码器(SAE) 则是专门拆解这套压缩术的“显微镜”——它把混成一团的激活信号重新展开到极高维度,分离出数百万个一次只管一件事的纯净概念(比如“金门大桥”或“代码漏洞”),让我们不仅能看懂模型在想什么,还能精准拨动单个概念旋钮。

01 为什么盯着单个神经元根本看不懂大模型? ​

早期研究神经网络可解释性的人抱有一个很朴素的幻想:既然生物神经科学里曾发现“祖母细胞”,那大模型里是不是也有某个神经元专门管“猫”、另一个专门管“Python 循环”?

可一旦真的把 Transformer 的内部神经元拉出来体检,研究者瞬间傻眼了——几乎每个神经元都是“精神分裂”的 多义神经元(Polysemantic Neuron)。你盯着 512 号神经元看,它一会儿在读到 DNA 碱基序列时兴奋,一会儿在遇到法语诗句时暴涨,过两行又在看到论文参考文献括号时亮灯。

原因其实再现实不过:真实世界里的概念少说有几千万个,但大模型每一层的隐藏维度 d 往往只有几千(例如 4096)。 如果坚持“一个萝卜一个坑”,模型连常用词汇的语义细微差别都装不下,更别提包罗万象的百科知识了。2022 年 Anthropic 在 Toy Models of Superposition ↗ 中证实:只要这些概念极度稀疏(每次只冒出极少数),神经网络就会自动把它们以“几乎垂直但略微偏斜”的角度硬塞进同一个低维空间。

类比 · 超载的“共享工位办公室”

想象一家只有 100 张办公桌(维度 d) 的创业公司,却雇了 10 万名兼职顾问(概念特征)。如果每天 10 万人都来上班,办公室瞬间瘫痪;但好在每位顾问极度稀疏——一年只来一两天,每次同时在岗的不超过 20 人。

于是老板想出一个绝妙主意:不给任何人发专属工位,而是让顾问们以几乎互不干扰的偏斜角度共用这 100 张桌子。只要同时来的人不多,哪怕偶尔稍微挤到一点边角(微小串扰),靠门禁规则(ReLU 非线性截断)把杂音过滤掉,照样完美运转。这就是大模型内部的 叠加态(Superposition)!

核心设问

既然大模型出于容量压力,必然把几百万个语义概念“叠压”在几千维的 残差流 里,我们能不能在不改动原模型权重的前提下,造一台逆向“解压仪”,把混叠在一起的概念重新拆回一个个纯净的单义开关?

02 核心直觉:用“过完备光谱仪”给大脑做分束 ​

这台逆向解压仪,就是 稀疏自编码器(Sparse Autoencoder, SAE)。它的工作逻辑非常像把一束混杂着几十种元素的白光,打进一台超宽棱镜里做光谱分析。

类比 · 混音室里的“多轨分轨器”

原模型的激活向量 x(比如 4096 维)就像一段压成双声道的混音母带——吉他、人声、鼓点、贝斯全揉在两条波形里,肉眼看波形根本分不清谁是谁。

SAE 在中间故意拉出一张比原声道宽几十倍的过完备调音台(比如 13 万个轨道),并给调音台立下一条铁律:无论任何时刻,只允许亮起极少数(例如 32 个)轨道,而且仅靠这 32 个亮起的轨道就必须把原母带几乎无损地还原出来。 为了在这么严苛的稀疏约束下还能还原原音,SAE 被迫把每个轨道都对齐到最独立、最纯净的原始乐器——在大模型里,这些纯净轨道就是一个个单义特征(Monosemantic Features)。

2024 年,Anthropic 在 Scaling Monosemanticity ↗ 中给 Claude 3 Sonnet 套上了千万级维度的 SAE,竟然一口气挖出了“金门大桥”“安全代码漏洞”“阿谀奉承”“内心冲突”等高度抽象且跨语言、跨图文的概念。这些特征展现出三项令人惊叹的性质:

  • 跨语言与跨模态统一:同一个“金门大桥”特征,无论输入英文、中文、日文还是旧金山海湾的照片,都会精准点亮,说明模型内部确实存在超越字面符号的抽象概念。
  • 高阶语义抽象:不只是名词,像“代码里的缓冲区溢出漏洞”“用户要求模型编造借口时的道德犹疑”这类复杂行为模式,也能被独立拆成单义特征。
  • 可量化因果操控:不像传统观察性探测只能“看个热闹”,只要拉高或归零对应特征数值,模型后续生成的整段话就会沿着该概念方向发生确定性偏移。
类比 · 爆红全网的“金门大桥 Claude”实验

单单看到某个特征在“金门大桥”出现时亮灯,还不足以证明它真的因果操控了模型。于是研究者做了一个极具戏剧性的因果验证:他们找到编号对应的“金门大桥”单义特征,在推理时强行把它的数值钳位拉高到平时的 10 倍。

奇迹发生了——无论你问 Claude 怎么省钱、怎么写简历还是“你是谁”,它都会一本正经地把话题拐到“其实我就是金门大桥,我那标志性的国际橙色钢缆每天迎着旧金山的海雾”。这个实验以最直观的方式宣告:SAE 拆出来的不是巧合统计,而是真正可插拔的语义因果旋钮!

03 把关键公式读成人话 ​

为什么 d 维空间能硬塞进远超 d 个特征?高维几何的 Johnson-Lindenstrauss 引理 给出了一条惊人的上限规律:在 d 维空间里,只要容许向量之间有一点点夹角串扰 ε,能塞下的近正交方向数量 M 随维度指数暴涨:

M=O(exp⁡(c⋅ε2d))

**为什么高维空间大到超乎人类想象?:**我们在三维生活里,最多只能摆下 3 根两两垂直的坐标轴(长、宽、高)。但如果允许夹角从 90∘ 稍微放宽到 85∘∼95∘,在 4096 维空间里,你能摆下的“近似垂直”方向不是 4096 根,而是远超宇宙原子总数的天文数字!模型正是钻了高维几何的这个空子,实现了超高密度的叠加压缩。

而新一代 TopK-SAE(Gao et al., 2024 ↗) 拆解叠加态的核心前向与重建方程更是直白得像两步翻译:

f(x)=TopK(Wenc(x−bdec)+benc),x^=Wdecf(x)+bdec

把公式读成直觉:- 第一步(查字典 + 强行挑尖子):先把模型激活 x 减去基准中心 bdec,拿编码矩阵 Wenc 同时和字典里几十万个候选概念做匹配打分,然后 TopK 毫不留情地只留下得分最高的 k 个概念,其余统统清零。

  • 第二步(积木拼装还原):解码矩阵 Wdec 的每一列都是一块“标准概念方向积木”,用刚挑出来的 k 个活跃概念加权相加,再补回中心 bdec,拼出还原激活 x^。只要 x^ 贴近原激活 x 且每次只动用极少数积木,这些积木就会自然涌现出人类一眼能看懂的语义!

如何判断自己训出来的 SAE 是真的看懂了模型,还是在凑数字?工程师通常会盯紧两个黄金指标:

  1. 平均亮灯数(L0 稀疏度):每个词元平均只点亮几十个特征(比如 L0≈32∼64),灯越少越干净。
  2. 交叉熵损失恢复率(CE Recovered):把 SAE 还原出的 x^ 塞回原大模型,看模型的语言预测水准还能保住多少——好的 SAE 能在极少亮灯下恢复 90% 以上的原模型能力。

04 三代 SAE 演化对比,以及它连接了什么? ​

早期 SAE(Cunningham et al., 2023 ↗)靠在损失函数里加 λ‖f(x)‖1 逼迫稀疏,结果踩中了著名的收缩偏置(Shrinkage Bias)——惩罚项像一只无形的手,把本来该大声说话的真特征音量也顺带压低了。短短一年间,社区快速演进出三代主力架构:

SAE 演进代际怎么控制稀疏?收缩偏置一句话特点
第一代:L1-SAE损失函数加 λ‖f(x)‖1严重实现最简单,但总在“够稀疏”和“还原准”之间顾此失彼
第二代:TopK-SAE只保留最大的 k 个特征几乎消除训练极其稳健,配合 AuxK 复活死特征,精准锁死稀疏度
第三代:JumpReLU-SAE每个特征学独立门槛 θi几乎消除DeepMind 2024 ↗ 提出,复杂句子多亮灯、简单词少亮灯,兼顾灵动与保真

在整张大模型机理地图上,SAE 扮演着承上启下的“基础译码器”:

05 四个最容易踩的实战坑与未来方向 ​

  1. 死亡潜变量(Dead Latents)白占大半字典:训练几十万维 SAE 时,若初始化或稀疏惩罚过猛,很容易出现一大半特征永远跨不过零门槛、梯度恒为 0 的“死特征”。工程上必须配合 AuxK 辅助残差损失,专门逼迫死特征去拟合主模型没还原干净的残差,才能把它们重新激活。
  2. 激活数据不洗牌,字典瞬间学歪:直接拿一整篇文章里相邻词元的激活做同一个 Batch 训练,相邻词元高度雷同,SAE 会偷懒记住局部统计噪音而非通用概念。务必先把跨文档的数百万词元激活存进大缓冲池彻底打乱再训。
  3. 拨动特征忘了加回“误差余项”:像 Golden Gate Claude 那样修改某个单义特征后,千万别直接把 SAE 重建结果 x^ 塞回模型——SAE 再好也有约 5%~10% 的未解释细节残差 e=x−x^,必须把它原封不动加回来,模型才能既听话又保持原本的聪明劲。
  4. 别把特征字典当成一成不变的“元素周期表”:字典越宽,粗概念会不断发生“特征分裂”(例如“编程”裂成“Python 异步”“C++ 指针”等几十个子特征),甚至出现子特征吸收父特征的现象,审计时要按任务粒度选合适扩展倍数。

从“完全看不懂的多义神经元”到“可实时监测、可拨动旋钮的百万单义概念”,SAE 让人类第一次拥有了审视百亿参数模型内心独白的实用显微镜。

想深入了解 Johnson-Lindenstrauss 高维近正交推导、五种 SAE 架构横向对比,以及带 AuxK 复活与特征钳位的完整 PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

在大语言模型的可解释性研究中,研究者早期试图逐一检查单个神经元(Neuron)的激活模式,却发现绝大多数神经元都是多义的(Polysemantic)——同一个神经元可能同时对“DNA 序列”“法语诗歌”和“学术引用括号”产生强烈响应。叠加态假说(Superposition Hypothesis) 揭示了背后的几何本质:模型需要表征的真实世界概念远超其隐藏维度 d,因此被迫将数以百万计的稀疏概念,以几乎正交(Almost-Orthogonal) 的方向压缩打包进同一个 d 维线性空间。为了逆向拆解这团纠缠的“线球”,稀疏自编码器(Sparse Autoencoder, SAE) 通过过完备字典学习将密集激活重新投影回超高维稀疏空间,成功提取出数百万个高度可解释的单义特征(Monosemantic Features)。

直观理解

可以把模型的 残差流 想象成一块只有 d 个座位的会议室,却要同时服务上百万个很少同时出场的嘉宾(稀疏语义概念)。只要每位嘉宾都很少发言,模型就可以把多个毫不相干的嘉宾“叠坐”在略微错开的方位上,利用非线性激活函数把微弱的串扰噪声滤掉。而 稀疏自编码器(SAE) 就像一台超高清“光谱分束仪”,把混叠在一起的复合光线重新拆成一根根纯净的单色光(单义特征)。

起源背景与演进脉络 ​

早期神经网络可解释性受视觉模型(如 InceptionV1)启发,默认“一个神经元对应一个独立语义特征”。然而在大型 Transformer 的 FFN 层 与残差流中,单纯以标准基向量(坐标轴)观察神经元往往陷入死胡同:单个神经元同时响应多种毫无关联的上下文,且旋转坐标系后表征的语义边界依然存在。

2022 年,Anthropic 团队在 Toy Models of Superposition 中通过精巧的玩具实验证实:当输入特征高度稀疏时,神经网络会在非线性激活(如 ReLU)的帮助下,用低维空间表征远超维度上限的特征数量,并随稀疏度变化呈现出类似物理学的“相变”现象。2023 年,Bricken 等人与 Cunningham 等人先后将稀疏字典学习(Sparse Dictionary Learning)引入单层 Transformer 与 Pythia 模型,证明 SAE 能够稳定解耦出“阿拉伯语文本”“Python 缩进”“DNA 碱基”等纯净特征。2024 年,Anthropic 在 Scaling Monosemanticity 中将 SAE 扩展至商用级模型 Claude 3 Sonnet,提取出超过 3400 万个抽象概念特征(包括著名的“金门大桥”特征,甚至能跨语言、跨模态激活),并诞生了将特征强制拉高实现行为定向改变的“Golden Gate Claude”;同年,OpenAI 提出 TopK-SAE、Google DeepMind 提出 JumpReLU-SAE,大幅缓解了传统 L1 稀疏惩罚带来的特征收缩偏置。

核心原理与数学推导 ​

1. 高维叠加态的几何机理(Johnson-Lindenstrauss 引理) ​

为何一个仅 d 维的欧氏空间 Rd 能够塞下远超 d 个彼此“近乎正交”的特征方向?其数学根基正是高维几何中的 Johnson-Lindenstrauss(JL)引理 与 Welch 界。

设在 d 维单位球面上随机均匀采样 M 个单位向量 {w1,…,wM}⊂Rd,要求任意两个不同特征之间的余弦相似度满足 |wi⊤wj|≤ε(允许微小的非零串扰 ε∈(0,1))。由高维测度集中现象可知,可容纳的近正交向量最大数量 M 与维度 d 呈指数关系:

M=O(exp⁡(c⋅ε2d))

这意味着当 d=4096 且容忍 ε=0.1 的微小干扰时,理论可编码的特征数量高达天文数字。当真实特征向量 z∈R≥0M 高度稀疏(大多数时刻仅有 k≪d 个分量非零)时,模型将其线性压缩为低维激活 x=Wz(其中 W∈Rd×M)。在读出第 i 个特征时:

wi⊤x=zi+∑j≠i,zj>0(wi⊤wj)zj

因为同时激活的干扰项极少且 |wi⊤wj|≤ε,叠加噪声总幅值很小,后续层的负偏置 b 与非线性激活(如 ReLU(⋅+b))即可将微小串扰彻底截断归零,实现近乎无损的超高密度信息复用。

2. 标准 L1-SAE 与收缩偏置(Shrinkage Bias) ​

给定模型某一层残差流或 MLP 输出的激活向量 x∈Rd,标准过完备稀疏自编码器构建扩展维度 M=R⋅d(扩展比 R 常取 8∼128),通过编码器映射到稀疏潜空间 f(x)∈R≥0M,再由解码器线性重建 x^:

f(x)=ReLU(Wenc(x−bdec)+benc),x^=Wdecf(x)+bdec

其中解码器矩阵 Wdec∈Rd×M 的每一列 di 代表第 i 个单义特征在残差流中的方向,并在每步梯度更新后强制单位归一化(‖di‖2=1),以防止模型通过无限制放大解码器范数来作弊降低 f(x) 的数值。标准训练目标由均方重建误差与 L1 稀疏正则项组成:

L(x)=‖x−x^‖22+λ‖f(x)‖1

然而,L1 范数作为 L0 稀疏度的凸松弛存在固有缺陷——收缩偏置(Shrinkage Bias)。由于 λ∑ifi(x) 对所有非零激活施加恒定梯度拉力,即使该特征确实应当激活,编码器也会被迫系统性低估其真实幅值,进而拉高重建误差。

3. TopK-SAE 与 JumpReLU-SAE ​

为彻底打破 L1 稀疏性与重建保真度之间的两难权衡,新一代 SAE 直接在激活函数层施加硬稀疏控制:

  • TopK-SAE(Gao et al., 2024):直接取消 L1 惩罚项,在编码器输出端仅保留数值最大的 k 个激活分量,其余置零:f(x)=TopK(Wenc(x−bdec)+benc)由此精确锁定每词元平均激活特征数 L0=k,彻底消除幅度收缩,并可配合辅助损失 Laux 专门利用前 kaux 个“死亡潜变量(Dead Latents)”拟合残差 e=x−x^,防止字典坍塌。
  • JumpReLU-SAE(Rajamanoharan et al., 2024):为每个特征学习独立的可微阈值 θi>0,利用阶跃门控实现动态 L0 稀疏:JumpReLUθ(z)=z⊙H(z−θ)其中 H(⋅) 为 Heaviside 阶跃函数。前向传播时高于阈值原样输出(零收缩),低于阈值直接截断;反向传播则采用直通估计器(Straight-Through Estimator, STE)近似 ∂H∂θ,使每个词元能按语义复杂度动态激活不同数量的特征。

架构与数据流 ​

下图展示了残差流中的多义叠加激活如何经由过完备 SAE 解耦为单义特征,并在测试期通过特征钳位(Clamping)反哺原模型实现精准可控引导(如 Golden Gate Claude):

图表加载中...

变体架构与横向对比 ​

架构变体稀疏约束机制收缩偏置动态 L0 能力典型优缺点与适用场景
标准 L1-SAE损失函数添加 λ‖f(x)‖1严重支持实现最简,但需反复调参 λ 且重建损失(CE Loss 增量)偏高
Gated SAE分离门控分支与幅值分支显著缓解支持解决幅度收缩,但编码器参数量与计算开销几乎翻倍
TopK-SAE激活层硬保留最大 k 个分量几乎消除固定 k训练极其稳定、易于精确对齐 Pareto 前沿,配合 AuxK 有效复活死特征
JumpReLU-SAE可学习逐特征阶跃阈值 θ + STE几乎消除支持兼顾零收缩与词元级动态稀疏度,当前大模型 SAE(如 Gemma Scope)首选
Transcoder跨子层映射(MLP 输入 → MLP 输出)视激活而定支持直接替代原 MLP 块进行可解释的线性特征电路追踪

核心 PyTorch 参考实现 ​

下面给出包含解码器单位范数投影、TopK 硬稀疏编码以及 AuxK 死亡特征复活损失 的精简 PyTorch TopK-SAE 实现:

python
import torch
import torch.nn as nn
import torch.nn.functional as F


class TopKSparseAutoencoder(nn.Module):
    def __init__(self, d_model: int, n_features: int, k: int = 32, k_aux: int = 64):
        super().__init__()
        self.d_model = d_model
        self.n_features = n_features
        self.k = k
        self.k_aux = k_aux

        self.b_dec = nn.Parameter(torch.zeros(d_model))
        self.W_enc = nn.Parameter(torch.empty(n_features, d_model))
        self.b_enc = nn.Parameter(torch.zeros(n_features))
        self.W_dec = nn.Parameter(torch.empty(d_model, n_features))

        # 经典初始化:W_dec 随机单位列向量,W_enc 初始化为其转置以稳定早期梯度
        nn.init.kaiming_uniform_(self.W_dec)
        self.normalize_decoder_()
        with torch.no_grad():
            self.W_enc.copy_(self.W_dec.t())

        # 追踪每个潜变量连续未激活步数,用于识别 Dead Latents
        self.register_buffer("steps_since_active", torch.zeros(n_features, dtype=torch.long))

    @torch.no_grad()
    def normalize_decoder_(self):
        # 强制解码器每列(每个特征方向)保持 L2 单位范数
        self.W_dec.data = F.normalize(self.W_dec.data, dim=0)

    def encode(self, x: torch.Tensor):
        x_centered = x - self.b_dec
        pre_acts = F.linear(x_centered, self.W_enc, self.b_enc)  # [B, M]
        topk_vals, topk_idx = torch.topk(F.relu(pre_acts), k=self.k, dim=-1)
        latents = torch.zeros_like(pre_acts).scatter_(-1, topk_idx, topk_vals)
        return latents, pre_acts

    def forward(self, x: torch.Tensor, dead_threshold: int = 1000, aux_coef: float = 1 / 32):
        latents, pre_acts = self.encode(x)
        x_hat = F.linear(latents, self.W_dec, self.b_dec)

        # 主损失:归一化均方重建误差
        residual = x - x_hat
        mse_loss = residual.pow(2).mean()

        # 更新死亡潜变量计数器
        if self.training:
            fired = (latents > 0).any(dim=0)
            self.steps_since_active = torch.where(fired, 0, self.steps_since_active + 1)

        # AuxK 损失:迫使死亡特征协同拟合重建残差,防止字典容量浪费
        dead_mask = self.steps_since_active >= dead_threshold
        aux_loss = torch.tensor(0.0, device=x.device)
        if dead_mask.any():
            dead_pre = pre_acts.masked_fill(~dead_mask, float("-inf"))
            k_eff = min(self.k_aux, int(dead_mask.sum().item()))
            aux_vals, aux_idx = torch.topk(F.relu(dead_pre), k=k_eff, dim=-1)
            aux_latents = torch.zeros_like(pre_acts).scatter_(-1, aux_idx, aux_vals)
            residual_hat = F.linear(aux_latents, self.W_dec)
            aux_loss = (residual.detach() - residual_hat).pow(2).mean()

        return x_hat, latents, mse_loss + aux_coef * aux_loss


@torch.no_grad()
def steer_with_sae_feature(sae: TopKSparseAutoencoder, x: torch.Tensor, feat_id: int, clamp_val: float):
    """Golden Gate Claude 式特征钳位:保留重建误差项以防损害无关语言能力"""
    latents, _ = sae.encode(x)
    x_recon = F.linear(latents, sae.W_dec, sae.b_dec)
    error_term = x - x_recon  # 保留 SAE 未能解释的原始细节残差

    latents_steered = latents.clone()
    latents_steered[..., feat_id] = clamp_val
    return F.linear(latents_steered, sae.W_dec, sae.b_dec) + error_term

工程实践与常见陷阱 ​

工程实践

  1. 残差流数据必须充分打乱(Activation Shuffling):直接按句内连续词元喂给 SAE 会造成极强的时间相关性,导致字典迅速退化。标准做法是构建跨数千篇文档的激活缓冲池(Buffer),随机采样混洗后再切分 Mini-batch。
  2. 用“CE 损失恢复率”替代单纯 MSE 评估:单纯追求 MSE 最小可能产生无意义的高频微调特征。工业界核心指标是将模型原激活替换为 SAE 重建激活后,下游语言模型交叉熵损失的恢复比例(通常要求在 L0≤100 下恢复 90% 以上)。
  3. 干预时务必加回 Error Term:执行单义特征钳位(如把某概念拉高 10 倍)时,必须把原激活与 SAE 重建之差 e=x−x^ 加回流中,否则 SAE 自身的重建信息损失会直接导致模型输出胡言乱语。

常见陷阱

  1. 死亡潜变量(Dead Latents)雪崩:在大字典(如 131K~1M 特征)训练早期,若学习率偏高或稀疏惩罚过重,高达 50%~80% 的编码器偏置可能跌入深度负区,导致 ReLU 梯度恒为零而永久失效。务必引入 AuxK 辅助损失或周期性重采样(Ghost Gradients / Resampling)。
  2. 梯度投影遗漏导致特征坍塌:训练每一步反向传播后,除了将 Wdec 列向量归一化,还必须剔除梯度中平行于 Wdec 列方向的分量,否则 Adam 等自适应优化器的动量项会扭曲方向更新。
  3. 特征分裂(Feature Splitting)与吸收(Absorption):字典越宽,一个粗粒度概念(如“数学”)会分裂成几十个子特征(“微积分”“数论”),有时甚至出现特例特征把通用父特征“吸收”掉的现象,评估时不可把 SAE 特征简单等同于唯一真理基。

延伸阅读与参考论文 ​

  • 叠加态理论基石:Elhage et al., Toy Models of Superposition, Transformer Circuits Thread, 2022 (arXiv:2209.10652 ↗).
  • SAE 单义性开创工作:Bricken et al., Towards Monosemanticity: Decomposing Language Models With Dictionary Learning, Anthropic, 2023 (Transformer Circuits ↗); Cunningham et al., Sparse Autoencoders Find Highly Interpretable Features in Language Models, ICLR 2024 (arXiv:2309.08600 ↗).
  • 商用大模型百万特征扩展:Templeton et al., Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Anthropic, 2024 (Transformer Circuits ↗).
  • TopK-SAE 与缩放规律:Gao et al., Scaling and Evaluating Sparse Autoencoders, OpenAI, 2024 (arXiv:2406.04093 ↗).
  • JumpReLU-SAE 与 Gemma Scope:Rajamanoharan et al., Jumping Ahead: Improving Reconstruction Fidelity with JumpReLU Sparse Autoencoders, Google DeepMind, 2024 (arXiv:2407.14435 ↗).