Skip to content

新一代线性注意力与测试时记忆:GLA、DeltaNet、TTT 与 Titans

推导 GLA 门控遗忘、Gated DeltaNet 精准擦写、TTT 权重态隐状态与 Titans 神经记忆。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是线性注意力、Gated DeltaNet 与测试时训练(TTT)?

为了摆脱标准注意力 O(N2) 的平方复杂度,线性注意力 利用矩阵乘法结合律,把历史上下文维护成一个固定大小的矩阵记忆,使每步推理降为常数开销。但早期线性注意力只会往记忆里不断“累加”,写久了新旧信息混成一团糊。

新一代架构(GLA、Gated DeltaNet、TTT、Titans)的核心突破在于把“记忆矩阵”升级成一块会选择性擦除旧值、甚至在推理现场实时做梯度下降更新内部小网络权重的高级动态记忆。

01 问题从何而来:为什么第一代线性注意力读完长文总是“记混串台”? ​

我们在 SSM 与 Mamba 里见过线性复杂度的诱惑:甩掉越来越沉的 KV Cache,不管读一万字还是一百万字,脑海里永远只维护一张大小固定的压缩状态表 St,速度飞快、显存恒定。

可真正拿纯线性注意力去考“超长合同查手机号”或“追查代码里某个变量最后被改成了几”,它立刻露馅了!病根出在它的记忆写入方式太粗糙——纯加法叠加(St=St−1+vtkt⊤)。

类比 · 三代记忆黑板:乱涂乱画 → 湿抹布全擦 → 手术级橡皮擦

把线性模型那张固定大小的隐状态 St 想象成教室里一块固定面积的小黑板:

  • 早期纯线性注意力(只写不擦):每读到一个新词,就往黑板上叠着写新字。写满 64 条以后,新字压旧字,整块黑板彻底糊成一团浆糊(记忆过载)!
  • GLA / Mamba-2(拿大湿抹布整体淡化):GLA(2024)↗ 和 Mamba-2 给黑板配了“数据依赖遗忘门”——快写满时,拿大湿抹布把整块黑板统一擦淡一点,腾出地方写新字。虽然不糊了,可如果之前记过“密码 = 1234”,现在改成“密码 = 5678”,大抹布没法单擦那一行,旧密码依然阴魂不散!
  • DeltaNet / Gated DeltaNet(精准橡皮擦 + 大抹布):Yang 等人(2024)↗ 装上了外科手术级精准橡皮擦(Delta Rule)!遇到“密码改成 5678”,它先精准定位“密码”这一栏,把旧值 1234 一笔擦净,再把 5678 填进去——黑板上其他无关笔记毫发无损!遇到话题大切换,再掏出全局衰减门 αt 一键清空黑板!
核心设问

DeltaNet 这种“先读出旧值、算误差、再精准覆写”的操作,听起来怎么那么像神经网络训练时的梯度下降?如果线性注意力隐状态本质上是一个在推理时做梯度下降的“线性小模型”,那我们干脆把隐状态升级成多层神经网络(TTT / Titans) 会发生什么?

02 核心直觉:原来“隐状态递推”就是“推理时在线学习”! ​

2024 到 2025 年,序列建模界迎来了最令人拍案叫绝的脑洞大一统:RNN 的隐状态矩阵 St,根本不是被动存数据的仓库,它就是一个趁着读上下文的机会、现场做梯度下降的小型学习机!

  1. GLA(门控线性注意力):给每条特征配独立遗忘速率GLA(Yang et al., 2024)↗ 引入了数据依赖的细粒度遗忘门 Gt,再配以硬件友好的 FlashLinearAttention 分块算法,连 1K 短序列的训练速度都能反超 FlashAttention-2,让线性注意力彻底撕掉了“又慢又弱”的旧标签。
  2. DeltaNet 与 Gated DeltaNet:精准擦写也能吃满 GPU! 以前大家早就知道 Delta Rule 记忆力碾压纯加法,却一直不敢用——因为每一步状态转移都乘了一个稠密矩阵 (I−βtktkt⊤),看起来只能一个词一个词串行算,训练慢如蜗牛。直到 Parallel DeltaNet(2024)↗ 借来数值线性代数的 Householder WY 表示法,把一小块(如 64 个词)内的连续擦写打包成纯矩阵乘法,一下子既保留了外科手术级精准检索,又跑出了媲美 Mamba-2 的训练速度!
  3. TTT(Test-Time Training)与 Titans:把小黑板升级成“随身小大脑”! 既然 DeltaNet 只是给一个“单层线性模型 fW(k)=Wk”在测试时做一步梯度下降,TTT(Sun et al., 2024)↗ 直接掀桌子:干脆让隐状态变成一个双层 MLP 神经网络权重 Wt!每读进新文本,模型现场用自监督重构误差做梯度下降,把上下文知识直接压缩进权重里!
类比 · Titans 的“惊喜度”记忆法:为什么你记得住初恋却记不住上周三午饭?

Google Research 提出的 Titans(2025)↗ 更把人类心理学写进了公式:人的长期记忆靠的是惊喜度(Surprise)——每天吃一样的外卖毫无波澜,大脑直接跳过;突然中了彩票,强烈震惊让你牢牢记住当时每一秒!

在 Titans 里,神经长期记忆模块的梯度大小就是“惊喜度”:如果当前词元在预料之中,梯度接近 0,懒得更新记忆;如果当前词元极其意外,梯度瞬间飙升,再叠加上动量(Momentum) 把惊喜事件前后的连贯情节一并刻进长期记忆,同时用权重衰减慢慢忘掉陈年旧账!

03 把关键公式读成人话 ​

先看当前工业界最火的 Gated DeltaNet 单步记忆更新公式(Yang et al., 2024 ↗):

St=St−1(αt(I−βtktkt⊤))+βtvtkt⊤

**把公式读成直觉:**把它稍微拆开写成两行,瞬间一目了然:

  1. 先做全局淡化:把旧黑板整体乘上保留率 αt∈(0,1)(换话题时 αt 变小一键清屏,聊同一话题时 αt≈1 稳稳保住旧账);
  2. 再做精准覆写:从旧黑板里按当前键 kt 查出旧值 vold=St−1kt,算出差值 (vt−vold),按步长 βt 只修改 kt 方向上的内容!其他和 kt 毫不相干(正交)的记忆连一丁点擦痕都不会留下。

再对比 Titans 的神经长时记忆更新公式(Behrouz et al., 2025 ↗):

Mt=ηtMt−1−θt∇ℓ(Mt−1;xt),Mt=(1−αt)Mt−1+Mt

把惊喜度与动量读进脑海:这里的 Mt 不再只是单个矩阵,而是一个多层神经网络的权重!

  • ∇ℓ(Mt−1;xt) 是瞬时惊喜度:旧记忆预测当前词元越离谱,误差梯度越大;
  • Mt 是惊喜动量:哪怕突发事件已经过去几个词,动量 ηtMt−1 依然能让大脑顺手把紧随其后的上下文细节一起记牢;
  • (1−αt) 是自适应遗忘门:容量紧张时自动淡化最久远的记忆权重。
类比 · 打包快递的“Householder WY 并行秘籍”

DeltaNet 明明记忆力那么强,为什么前几年大家只敢在纸上谈兵?因为它的精准擦写每走一步都要乘一个稠密矩阵 (I−βtktkt⊤),看起来只能像老式 RNN 一样一个字一个字排着队串行算,根本吃不满 GPU!

直到 Yang 等人(2024)↗ 祭出了数值线性代数里的传家宝——WY 表示法:把连续 64 个词元的擦写操作打包成一个极小的 64×64 下三角修正块,瞬间把串行连乘化成了 GPU 最拿手的分块大矩阵乘法(GEMM)!推理时照样保持 O(1) 定长隐状态极速吐字,训练时却能把 H100 Tensor Core 踩到冒烟!

04 它在模型里怎么工作 & 与上下游的关系 ​

尽管 Gated DeltaNet 与 Titans 已经把 O(1) 定长记忆的召回能力推向全新高度,工业界依然践行着极为务实的黄金混合路线:

  • 工业主力落地(如新一代 Qwen 系列 混合架构):将 Gated DeltaNet 层 与少量全 Softmax 注意力 / GQA 按 3:1 等比例交替堆叠——75% 的层负责线性高速吞吐、精准键值覆写与恒定显存,25% 的层充当无损精确档案柜,轻松把百万词元推理显存压低 4 倍同时死守“大海捞针”精度!
  • Titans 的“长短期记忆双轨大脑”:直接把人类大脑的海马体与工作记忆搬进架构——用标准滑窗 自注意力 当成精准的短期工作记忆,把测试时梯度更新的神经记忆 Mt 当成海量的长期持久记忆,衍生出 MAC(长期记忆作为提示上下文喂给注意力)、MAG(门控并行融合)与 MAL(逐层堆叠)三种形态,在超过 200 万词元的 长上下文 评测中大幅领先纯 Mamba-2 与基线 Transformer。

05 演化对比与避坑备忘 ​

架构隐状态形态擦写与记忆策略精准检索能力训练并行手段
纯线性注意力d×d 矩阵纯加法累加(易过载)弱普通分块 GEMM
GLA / Mamba-2d×d 矩阵数据依赖全局/通道衰减中~强SSD / FLA 分块
DeltaNetd×d 矩阵单键精准覆写(缺快速清屏)强Householder WY 分块
Gated DeltaNetd×d 矩阵全局衰减 + 单键精准覆写极强(当前线性标杆)衰减 WY 分块 GEMM
TTT / Titans深层 MLP 权重测试时梯度下降 + 惊喜度动量超长程非线性极强Mini-Batch 批量更新

四个实战最容易踩的坑:

  1. DeltaNet 的键向量 kt 必须严格做 L2 归一化:转移阵 I−βtktkt⊤ 稳定的前提是 ∥kt∥2=1;如果忘了归一化导致 ∥kt∥2>1,连乘几百步隐状态就会像核弹一样指数爆炸!
  2. 对数衰减差值切忌直接做除法:在写分块并行代码时,千万别算 exp(g_i) / exp(g_j),长衰减下分子分母都会下溢成 0 / 0 = NaN!务必在对数空间算完 g_i - g_j 并盖上下三角掩码,再统一 exp。
  3. 别省掉输入前的“因果 1D 短卷积”与输出门控:和 Mamba-2 一样,进入 Gated DeltaNet 前配一层核宽为 4 的短卷积捕捉局部词序、输出端配一层 RMSNorm + SiLU 门控,是实测掉点与否的关键细节。
  4. TTT / Titans 训练时警惕“二阶梯度”显存暴涨:外层反向传播要穿过内层的测试时梯度下降步骤求“梯度的梯度”,显存消耗比纯线性矩阵高得多,务必合理设置 Mini-Batch 块长并开启激活重计算。

想查看从在线最小二乘导出 Delta Rule 的完整推导、Householder WY 表示法矩阵方程,以及纯 PyTorch 实现并校验“WY 分块并行 vs 逐步递推”零误差的完整代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

第一代线性注意力与 Mamba/SSM 成功将序列建模的训练复杂度压至 O(N)、解码显存压至 O(1),却在联想召回(Associative Recall) 与超长上下文精确键值对检索上始终落后于标准 自注意力。2024 至 2025 年,序列建模领域迎来了一场深刻的理论大统一:研究者发现,定长隐状态 St 的本质就是一个在推理阶段持续学习压缩上下文的在线记忆模型!沿着这一主线,架构演进迅速跨越了三重台阶——从 GLA 的“数据依赖门控遗忘”,跃迁到 DeltaNet / Gated DeltaNet 的“Delta Rule 精准键级擦写 + WY 分块并行”,再一路升维至 TTT(Test-Time Training) 与 Titans 直接将隐状态升级为多层神经网络权重并在测试时执行在线梯度下降(含动量与惊喜度调制),全面开启了“测试时神经记忆”时代。

直观理解

把线性模型的定长隐状态想象成一块面积固定的黑板:

  • 早期线性注意力只管往黑板上不断叠加新字(纯加法),写几十条就糊成一团浆糊;
  • GLA / Mamba-2 给黑板配了一把大号湿抹布(衰减门控),快写满时把整块黑板整体擦淡一点,虽然不糊了,但旧的重要笔记也跟着一起变淡;
  • DeltaNet / Gated DeltaNet 则是外科手术级精准橡皮擦:如果之前写过“密码 = 1234”,现在要改成“密码 = 5678”,它先精准擦掉“密码”这一条的旧值,再写进新值,黑板上其他八竿子打不着的笔记毫发无损!
  • TTT 与 Titans 更进一步:干脆把黑板升级成一台随身自带梯度学习引擎的微型神经网络大脑,每读到一个出乎意料的“惊喜词元”,当场在推理时做一次权重更新把它牢牢背下来!

起源背景与演进脉络 ​

回溯经典核线性注意力(Katharopoulos et al., 2020),其隐状态更新遵循最朴素的 Hebbian 外积累加规则:

St=St−1+vtkt⊤∈Rdv×dk,ot=Stqt

这里潜藏着致命的记忆过载瓶颈(Memory Overload):对于 dk 维键空间,最多只能容纳 dk 组两两正交的键向量。一旦序列长度 N≫dk,不同键向量必然非正交,查询读出 Stqt=∑i=1t(ki⊤qt)vi 会混入海量串扰噪声;更糟的是,如果同一个键 k 的值后来发生了更新(如代码里变量被重新赋值),纯加法无法抹除旧值,导致新旧值叠加冲突。

为了在不破坏 O(N) 并行训练的前提下突破这一上限,研究脉络呈现出清晰的四级跳:

  1. 数据依赖门控遗忘(GLA, Yang et al., ICML 2024):引入细粒度数据依赖衰减矩阵 Gt 与硬件感知分块算法(FlashLinearAttention),在 1K 短序列上吞吐即反超 FlashAttention-2;
  2. 精准擦写与硬件并行突破(Parallel DeltaNet, Yang et al., NeurIPS 2024):将经典的 Widrow-Hoff Delta Rule 引入线性注意力,并首创 Householder WY 表示法 攻克了 Delta Rule 原本无法跨序列并行训练的历史难题;
  3. 双门控融合巅峰(Gated DeltaNet, Yang et al., ICLR 2025):融合 Mamba-2 的全局快速遗忘门 αt 与 DeltaNet 的精准单点擦写,成为当前工业界(如 Qwen3-Next 混合主干)最具代表性的线性注意力算子;
  4. 非线性测试时神经记忆(TTT, Sun et al., 2024 & Titans, Behrouz et al., 2025):打破矩阵状态的线性束缚,把隐状态泛化为 MLP 参数权重,以自监督损失梯度作为“惊喜度”信号,配合动量与权重衰减在测试时动态记忆超长上下文。

核心原理与数学推导 ​

1. GLA:细粒度门控线性注意力 ​

GLA(Gated Linear Attention) 为矩阵状态 St−1 引入低秩参数化的数据依赖二维遗忘门 Gt=αt1⊤∈(0,1)dv×dk(或更一般的逐行/逐列外积 αtβt⊤):

St=Gt⊙St−1+vtkt⊤,ot=Stqt

与 Mamba-2 整个头共享同一个标量衰减不同,GLA 允许每个键特征维度拥有独立的遗忘速率,同时借助分块并行化(Chunkwise Parallel) 将全局状态递推拆解为块内二次方矩阵乘法与块间状态传递,榨干 GPU Tensor Core 算力。不过,门控衰减本质仍是“成片淡化”,依然无法针对单个键 kt 执行精准覆写。

2. DeltaNet 与 Gated DeltaNet:在线最小二乘与精准擦写 ​

将状态矩阵 S∈Rdv×dk 视作一个试图把键 kt 映射到值 vt 的线性联想记忆器,定义当前时刻的记忆重构损失:

Lt(S)=12‖Skt−vt‖22

对其求关于 S 的梯度并执行一步步长为 βt∈(0,1)(由当前输入经 Sigmoid 生成)的在线梯度下降(要求 kt 已做 L2 归一化,∥kt∥2=1):

∇SLt(St−1)=(St−1kt−vt)kt⊤St=St−1−βt(St−1kt−vt)kt⊤=St−1(I−βtktkt⊤)+βtvtkt⊤

这一公式(Delta Rule)的物理机制极其精妙:

  • 先用当前键 kt 从旧记忆里读出原有值 vtold=St−1kt;
  • 计算残差(误差)δt=vt−vtold,沿 kt 方向精准扣除旧值并写入新值;
  • 对任何与 kt 正交的键 k⊥(kt⊤k⊥=0),(I−βtktkt⊤)k⊥=k⊥,原有记忆毫发无损!

但纯 DeltaNet 也有一个短板:每次只能擦除沿着单个方向 kt 的秩-1 信息,如果对话突然切换主题,无法一键快速清空整块旧记忆。Gated DeltaNet 因此在 Delta Rule 转移阵前叠加了一个数据依赖的全局标量衰减门 αt∈(0,1)(对应带权重衰减的在线梯度下降):

St=St−1(αt(I−βtktkt⊤))+βtvtkt⊤
  • 当 αt→0 时瞬间执行全局清零(应对话题切换、释放容量);
  • 当 αt→1 且 βt>0 时执行外科手术级单键覆写(应对变量重赋值、精准键值跟踪);
  • 当 αt→1,βt→0 时冻结当前状态原样跳过噪声词元。

3. 攻克并行化死结:Householder WY 表示法 ​

由于转移矩阵 Ht=I−βtktkt⊤ 是稠密的 dk×dk 广义 Householder 矩阵(而非对角矩阵),连乘 H1H2⋯HQ 曾被认为只能串行计算。Yang 等人(2024)巧妙借用数值线性代数中的 WY Representation(UT Transform):将长度为 Q 的块内 Q 个广义 Householder 矩阵连乘,等价改写为低秩更新形式:

∏i=1Q(I−βikiki⊤)=I−WcKc⊤(块内三角求解器 Tc=(I+strict_tril(diag(β)KcKc⊤))−1)

其中 Wc,Uc∈RQ×d 只需对极小的 Q×Q(如 64×64)下三角矩阵求逆即可在片上 SRAM 瞬间完成!块内全部计算重新回归纯 Tensor Core 矩阵乘法,实现了 O(N) 全局线性复杂度与媲美 Mamba-2 的高吞吐并行训练。

4. 从线性矩阵到神经网络权重:TTT 与 Titans ​

一旦看透“DeltaNet = 线性模型 fW(k)=Wk 的单步在线梯度下降”,一个激动人心的泛化呼之欲出——为什么记忆体只能是单层线性矩阵?为什么不能是表达力强得多的多层感知机(MLP)?

  • TTT(Test-Time Training, Sun et al., 2024):直接定义隐状态为一个参数化机器学习模型 f(⋅;Wt)(如 2 层残差 MLP TTT-MLP),每个时间步利用多视图投影 θKxt,θVxt 构造自监督重构损失 ℓ(W;xt)=∥f(θKxt;W)−θVxt∥22,并在推理(测试)时实时执行梯度下降更新隐状态权重 Wt=Wt−1−ηt∇ℓ(Wt−1;xt),最后输出 zt=f(θQxt;Wt)。为了并行训练,TTT 引入 Mini-Batch TTT(每 b 个词元构成一个小批并行算梯度并一次性更新 W),成功转化为高效的矩阵运算。
  • Titans(Google Research, Behrouz et al., 2025):在神经长时记忆(Neural Long-Term Memory)中进一步引入人类认知记忆的两大机制:
    1. 惊喜度驱动与动量累积(Surprise with Momentum):梯度 ∇ℓ(Mt−1;xt) 越大代表当前信息越令人“意外”;Titans 用带衰减系数的动量 Mt 保持对突发惊喜事件前后连贯上下文的持续关注:Mt=ηtMt−1−θt∇ℓ(Mt−1;xt),Mt=(1−αt)Mt−1+Mt
    2. 长短期双轨协同:以神经记忆 Mt 充当持久化长期记忆,以局部窗口/全 Softmax 注意力充当精确短期记忆,提出 MAC(记忆作上下文)、MAG(记忆作门控) 与 MAL(记忆作层级) 三种融合架构,在 2M+ 超长上下文大海捞针评测中大幅超越纯 Mamba-2 与基线 Transformer。

算法架构与演进数据流图 ​

图表加载中...

架构特性横向对比表 ​

架构隐状态形态遗忘 / 擦除机制并行训练机制精确联想召回能力推理显存
Linear Attentiond×d 线性矩阵无遗忘(纯加法过载)分块矩阵乘法弱O(1)
Mamba-2 (SSD)d×Ns 线性矩阵逐头标量指数衰减 atSSD 分块 GEMM中~强O(1)
GLAd×d 线性矩阵数据依赖细粒度矩阵门控 GtFlashLinearAttention 分块中~强O(1)
DeltaNetd×d 线性矩阵秩-1 键方向精准覆写(无全局清零)Householder WY 分块 GEMM强(擅长单键覆写)O(1)
Gated DeltaNetd×d 线性矩阵全局标量衰减 αt + 精准擦写 βt衰减 WY 分块 GEMM极强(当前线性最优之一)O(1)
TTT-MLP / Titans深层 MLP 神经网络权重测试时梯度更新 + 动量 + 权重衰减Mini-Batch 批量在线 SGD超长程非线性泛化极强O(1)

核心 PyTorch 参考实现 ​

下面用简洁清晰的纯 PyTorch 实现 Gated DeltaNet 的逐步 RNN 递推与 WY 表示分块并行(Chunkwise Parallel)算法,并验证两者在数值上完全等价:

python
import torch
import torch.nn.functional as F


def gated_deltanet_recurrent(q, k, v, alpha, beta) -> torch.Tensor:
    """Gated DeltaNet 逐步递推(推理 O(1) 定长状态 S: [B, H, D, D])"""
    B, H, N, D = q.shape
    S = torch.zeros(B, H, D, D, device=q.device, dtype=q.dtype)
    outs = []
    for t in range(N):
        k_t, v_t, q_t = k[:, :, t], v[:, :, t], q[:, :, t]
        S = alpha[:, :, t].view(B, H, 1, 1) * S                        # 全局遗忘
        v_old = torch.einsum("bhd,bhde->bhe", k_t, S)                  # 按键读旧值
        delta = beta[:, :, t].view(B, H, 1) * (v_t - v_old)            # Delta 残差
        S = S + torch.einsum("bhd,bhe->bhde", k_t, delta)              # 精准覆写
        outs.append(torch.einsum("bhd,bhde->bhe", q_t, S))
    return torch.stack(outs, dim=2)


def gated_deltanet_chunkwise_wy(q, k, v, alpha, beta, chunk_size: int = 16) -> torch.Tensor:
    """Gated DeltaNet 分块并行算法(衰减 Householder WY Representation)"""
    B, H, N, D = q.shape
    C, Q = N // chunk_size, chunk_size
    eye_Q = torch.eye(Q, device=q.device, dtype=q.dtype)
    tril = torch.tril(torch.ones(Q, Q, device=q.device, dtype=torch.bool))
    strict_tril = torch.tril(torch.ones(Q, Q, device=q.device, dtype=torch.bool), diagonal=-1)

    q_c, k_c, v_c = [t.view(B, H, C, Q, D) for t in (q, k, v)]
    beta_c = beta.view(B, H, C, Q)
    g = torch.cumsum(torch.log(alpha.clamp(min=1e-6)).view(B, H, C, Q), dim=-1)

    # 1. 块内 WY 表示:求单位下三角逆 T = (I + A)^{-1},得到并行修正因子 W, U
    decay = torch.exp((g.unsqueeze(-1) - g.unsqueeze(-2)).masked_fill(~tril, float("-inf")))
    A = (beta_c.unsqueeze(-1) * (torch.matmul(k_c, k_c.transpose(-1, -2)) * decay)).masked_fill(~strict_tril, 0.0)
    T = torch.linalg.solve_triangular(eye_Q + A, eye_Q.expand_as(A), upper=False, unitriangular=True)
    W = torch.matmul(T, (beta_c * torch.exp(g)).unsqueeze(-1) * k_c)
    U = torch.matmul(T, beta_c.unsqueeze(-1) * v_c)

    # 2. 跨块传递状态 S(仅循环 C = N / Q 次),块内计算全为高吞吐 GEMM
    S, outs = torch.zeros(B, H, D, D, device=q.device, dtype=q.dtype), []
    for c in range(C):
        u_corr = U[:, :, c] - torch.matmul(W[:, :, c], S)
        qk_intra = torch.matmul(q_c[:, :, c], k_c[:, :, c].transpose(-1, -2)) * decay[:, :, c]
        o_intra = torch.matmul(qk_intra, u_corr)
        o_inter = torch.matmul(q_c[:, :, c] * torch.exp(g[:, :, c]).unsqueeze(-1), S)
        outs.append(o_intra + o_inter)
        g_end = g[:, :, c, -1:]
        S = torch.exp(g_end).unsqueeze(-1) * S + torch.matmul(
            (k_c[:, :, c] * torch.exp(g_end - g[:, :, c]).unsqueeze(-1)).transpose(-1, -2), u_corr
        )
    return torch.cat(outs, dim=2)

工程实践与常见陷阱 ​

工程实践

  1. 键向量 L2 归一化是 DeltaNet 稳定的生死线:观察特征值可知,矩阵 I−βtktkt⊤ 的最小特征值为 1−βt∥kt∥22。只有对 kt 严格执行 L2 归一化(确保 ∥kt∥2=1)并限制 βt∈(0,1)(或扩至 (0,2) 以允许负特征值反射增强状态追踪),转移矩阵的谱半径才严格不超过 1,保证百万步递推永不发散。
  2. 配合短卷积与 3:1 混合全注意力主干:与 Mamba-2 一致,在 q, k, v 进入 Gated DeltaNet 之前加一层核宽为 4 的因果深度可分离一维短卷积(Short Conv1D)并在输出端加 RMSNorm 与 SiLU 门控,可大幅增强局部短语建模;生产级大模型(如 Qwen3-Next)则按 3 层 Gated DeltaNet + 1 层全注意力 的混合配比,兼得 4 倍显存压缩与无损长文精准检索。
  3. 依托 flash-linear-attention(FLA)Triton 融合核:上述 WY 分块中的下三角求逆与块内矩阵乘在生产中需使用开源 fla 库的片上 SRAM 融合 Triton 内核,否则纯 PyTorch 调用 solve_triangular 会产生大量 HBM 访存开销。

常见陷阱

  1. 忽略 βt∈(0,2) 与特征值符号对状态追踪的影响:早期 DeltaNet 将 βt 限制在 (0,1)(仅支持正向缩减,无法实现正负号翻转);近期理论研究表明,将步长放宽至 βt∈(0,2) 使 Householder 变换包含 −1 特征值,能显著提升奇偶校验、状态机追踪等形式语言任务的表现,但须严格确保 ∥kt∥2≤1 以防数值发散。
  2. TTT / Titans 的二阶梯度显存开销:在训练 TTT-MLP 或 Titans 时,外层预训练反向传播需要穿过内层测试时梯度下降步骤求导(Gradient of Gradient),显存与算力开销显著高于线性状态模型。工程实现必须采用较大 Mini-Batch 块大小(如 b=16∼64)并配合梯度检查点(Activation Checkpointing)控制显存峰值。
  3. 块内指数衰减 exp(g_i - g_j) 下溢与上溢:当块内累积衰减很大(αt 很小导致 gi 极负)时,直接先算 exp⁡(gi)/exp⁡(gj) 极易产生 0 / 0 = NaN。必须如上方参考代码所示,始终在对数空间内先做差值 g_i - g_j 并应用下三角掩码后再取指数,且对数累加保持 FP32 精度。

延伸阅读与参考论文 ​

  • 门控线性注意力与硬件并行:Yang et al., Gated Linear Attention Transformers with Hardware-Efficient Training, ICML 2024 (arXiv:2312.06635 ↗).
  • DeltaNet 与 WY 分块并行化:Yang et al., Parallelizing Linear Transformers with the Delta Rule over Sequence Length, NeurIPS 2024 (arXiv:2406.06484 ↗).
  • Gated DeltaNet 双门控融合:Yang et al., Gated Delta Networks: Improving Mamba2 with Delta Rule, ICLR 2025 (arXiv:2412.06464 ↗).
  • 测试时训练层(TTT)奠基:Sun et al., Learning to (Learn at Test Time): RNNs with Expressive Hidden States, 2024 (arXiv:2407.04620 ↗).
  • Titans 惊喜度驱动神经长时记忆:Behrouz et al., Titans: Learning to Memorize at Test Time, 2025 (arXiv:2501.00663 ↗).