外观
概念定义 · 什么是状态空间模型(SSM)与 Mamba?
标准 Transformer 的自注意力机制在读长文章时,每个新词都要回头看前面所有词,计算量随长度平方暴涨(
状态空间模型(SSM)与 Mamba 是试图打破
01 问题从何而来:能不能甩掉 算力和无限膨胀的 KV Cache?
Transformer 的 Softmax 自注意力 堪称绝世神功,但它背着两座怎么也甩不掉的大山:
- 训练与阅读时的
算力墙:每读一篇 10 万字长文,所有词两两互相打分,计算量随长度平方暴涨; - 生成时的
显存包袱:推理每吐一个新词,都得把前面所有词的 KV Cache 死死攥在手里反复翻阅,文本越长显存越炸、吐字越慢。
其实老一代循环神经网络(RNN)原本就是“阅读
类比 · 开卷考试搬档案箱 vs. 闭卷大师带定长笔记本
把标准 Transformer 想象成一位带着全套档案箱参加开卷考试的考生:每读完新的一页题目,都要回头把过去所有页面的档案箱全部翻检一遍——优点是只要翻箱子就能一字不差找到第 3 页第 5 行的电话号码,缺点是题越长档案箱越沉、搬得气喘吁吁。
而 Mamba / RWKV / 线性注意力(SSM 家族) 则是闭卷脑记大师:他脑海里只有一本页数永远固定的活页笔记本(定长隐状态
核心设问
只要把 RNN 状态更新里的“非线性”拿掉,改用线性状态递推,是不是就能同时拿下“像 Transformer 一样全并行训练”和“像 RNN 一样
02 核心直觉:从 S4 到 Mamba-1 的“选择性擦写”,再到 Mamba-2 的大一统
线性复杂度架构历经四步极具戏剧性的进化:
类比 · 第一步:去掉 Softmax(线性注意力 & RWKV)
Katharopoulos 等人(2020)↗ 发现,只要把 Softmax 里的指数函数换成核特征映射
可纯加法累加没有“橡皮擦”,读几千字笔记本就写满浆糊了。于是 RWKV(Peng et al., 2023)↗ 加上了可学习的时间指数衰减权重(相当于随时间慢慢淡化旧笔记),进化到 RWKV-6/7 更拓展出多头矩阵状态和精准擦除规则。
类比 · 第二步:控制论空降与 Mamba-1 的“智能荧光笔 + 橡皮擦”
另一条路源自控制论的连续时间状态空间方程(SSM)。S4(Gu et al., 2022)↗ 用漂亮的 HiPPO 数学理论让固定大小的隐状态记住了极长历史,还能靠快速傅里叶变换(FFT)并行训练。但 S4 有个死穴——它是时不变(LTI) 的,不管遇到核心关键词还是“嗯、啊、呃”废话,都按死板固定的比例做记忆衰减和写入,根本不懂看菜下碟!
Mamba-1(Gu & Dao, 2023)↗ 一刀捅破窗户纸,提出选择性状态空间(Selective SSM):让遗忘步长
- 遇到关键转折词或暗号?把步长
拉大:立刻擦掉无关旧账,用荧光笔把当前信息狠狠刻进笔记本! - 遇到水词或停用词?把步长
缩向 0:直接冻结现有笔记,把这个词当空气原样跳过!
虽然时变参数让 FFT 失效,但作者用并行前缀扫描 + GPU 片上 SRAM 融合核,跑出了比同规模 FlashAttention-2 还快几倍的吞吐。
类比 · 第三步:Mamba-2 的“震撼大一统(SSD)”——吃满 Tensor Core!
Mamba-1 虽然快,但并行扫描本质上是向量操作,吃不满现代 H100/B200 GPU 最猛的矩阵乘法核心(Tensor Core)。
Mamba-2(Dao & Gu, 2024)↗ 证明了一个载入教科书的数学对偶——状态空间对偶(SSD):把状态转移矩阵简化成“标量衰减乘单位阵”后,SSM 居然和带因果衰减掩码的线性注意力在数学上是同一个东西!
于是 Mamba-2 干脆把长序列切成一块块长度为
03 把关键公式读成人话
先看 Mamba-1 的离散化选择性递推核心:
**把公式读成直觉:**把
- 选择性擦除与写入(更新笔记):
是“记忆保留率”(因为 ,所以它在 到 之间)。当模型觉得当前词极其重要、调大 时, (清空旧缓存)同时 变大(重笔写入新词);当当前词是废话、把 时, (老笔记纹丝不动,新词直接忽略)。 - 按需读出(
):用输入相关的查询向量 从当前笔记本里提取这一步要输出的语义。
再看 Mamba-2(SSD) 打通“状态空间”与“注意力”的矩阵对偶式:
**原来 SSM 和注意力只是同一枚硬币的两面!:**把上式和带因果衰减掩码的线性注意力
就是查询 , 就是键 ,输入 就是值 ; - 中间连乘的衰减系数
正是随时间衰减的因果下三角掩码!
训练时用矩阵乘法形态榨干 GPU 算力,推理时切换成等价的 RNN 逐步递推形态享受
04 它在模型里怎么工作 & 与上下游的关系
尽管纯线性架构速度飞快,但信息论早就给它画了天花板:一本巴掌大的定长笔记本,怎么可能无损记住 10 万字合同里的每一个电话号码和精确变量名? 评测反复证明,纯 SSM 在超长文本的精确逐字回溯检索(Recall / Copying) 上天然弱于保留完整历史档案的 Softmax 注意力。
于是,最前沿的工业界迅速收敛向了 Hybrid 混合架构:
- Jamba(AI21, 2024)↗:按 7 层 Mamba + 1 层全注意力 的比例交替堆叠,再融合 MoE,把 256K 上下文的 KV Cache 压到纯 Transformer 的
; - Zamba / MiniMax-01(2025)↗ / Qwen3-Next:用大部分线性注意力 / Mamba / Gated DeltaNet 层扛起百万级 长上下文 的极速吞吐,每隔 3~7 层穿插 1 层全 GQA / MLA 注意力 充当“精准档案检索器”,两头甜头全部吃尽!
05 演化对比与避坑备忘
| 序列架构 | 训练复杂度 | 解码状态显存 | 精准逐字回忆 | Tensor Core 利用率 |
|---|---|---|---|---|
| 标准 Transformer | 极强(无损查阅) | 极高 | ||
| Linear Attn / RWKV | 弱~中 | 高 | ||
| Mamba-1 (Selective) | 中强 | 中(向量级扫描) | ||
| Mamba-2 (SSD) | 强(大状态 | 极高(分块 GEMM) | ||
| Hybrid(SSM+Attn) | 近似线性 | 缩减 | 极强(媲美全注意力) | 极高 |
三个最容易踩的工程坑:
- 衰减参数
必须严格为负,且状态累加死守 FP32:离散化里 的实部一旦飘到正数,长序列连乘 会立刻指数爆炸变 NaN;工程上通常存储并在前向取 ,且状态更新务必留在 FP32。 - 多轮对话的“前缀缓存复用”比 KV Cache 麻烦得多:Transformer 的 KV Cache 可以按任意位置切片回退、复用公共系统提示词;可 SSM 只存着最后一个时刻揉成一团的压缩状态
,没法从 倒推出 !推理引擎必须每隔固定步数定期拍一张状态快照(State Checkpointing)才能支持前缀复用。 - 别小看 SSM 前面那个小小的“1D 短卷积”:Mamba 模块在进状态扫描前总会先过一个核宽为 4 的因果一维短卷积,它像个微型移位寄存器补齐局部 n-gram 词序感知,千万别为了图省事把它删掉,否则语言建模困惑度会明显倒退。
想查看线性注意力核技巧、HiPPO 连续离散化 ZOH 公式,以及纯 PyTorch 实现并校验“分块 SSD vs 逐步 RNN”零误差的完整代码?按快捷键
M或点击顶部技术 Wiki随时切换。
标准 Transformer 的 Softmax 自注意力 虽然拥有卓越的全局检索精度,却背负着两座难以逾越的大山:训练与预填充阶段
直观理解
可以把标准 Transformer 想象成一位带着全套厚重档案箱参加开卷考试的学生:每读完一页新材料,都要回头把过去所有页面的档案全部重新翻检一遍(
问题动机与演进背景
回顾经典循环神经网络(RNN),它原本就拥有推理
新一代线性架构的共同核心洞察是:只要把状态递推中的“非线性”移除,改用线性时不变(LTI)或线性时变(LTV)状态更新,就能同时享有 RNN 的
这一思想沿着三条交汇的主脉演进:
- 核技巧线性注意力(Katharopoulos et al., 2020):通过特征映射
改写 Softmax,利用矩阵乘法结合律将 化为 。 - RWKV(Peng et al., 2023–2024):融合线性注意力与带通道衰减的指数移动平均(WKV 递推),进化出多头矩阵状态更新(RWKV-6/7),在纯非注意力开源社区落地至十亿至百亿级。
- 结构化状态空间模型(S4
Mamba-1 Mamba-2):源自控制理论连续微分方程,先借助 HiPPO 理论解决长程记忆初始化(S4),再突破时不变约束引入输入依赖选择性机制(Mamba-1),最终在 Mamba-2 中证明了状态空间模型与结构化掩码线性注意力之间严格的数学对偶(SSD)。
核心原理与数学推导
1. 线性注意力(Kernel Trick)与定长状态递推
标准注意力中
观察分子与分母中的累加项,它们天然满足极其简洁的 RNN 线性递推:
解码时只需维护定长矩阵状态
2. RWKV 与 WKV 衰减递推
RWKV(Receptance Weighted Key Value) 为线性注意力引入了逐通道可学习的时间衰减参数
其分子
3. S4 与 HiPPO:连续状态空间与离散化
控制论中的连续时间线性状态空间模型(SSM)将一维输入信号
其中
S4(Gu et al., 2021) 的两大突破在于:
- HiPPO 矩阵初始化:利用勒让德多项式最优历史函数逼近理论构造特殊矩阵
,彻底解决了线性递推的指数长程遗忘问题; - 卷积-循环对偶(Conv-RNN Duality):当
不随时间变化(时不变 LTI)时,展开递推等价于全局一维卷积 ,其中卷积核 ,训练时可通过快速傅里叶变换(FFT)在 内高度并行完成。
4. Mamba-1:选择性状态空间与硬件感知并行扫描
Gu & Dao(2023)发现 LTI 模型(如 S4)致命软肋在于无法执行基于内容的推理(例如选择性复制或忽略无关填充词):因为转移矩阵
Mamba-1 引入选择性机制(Selective SSM / S6),让步长
物理意义极其清晰:
- 当
较大时, 且 很大——模型重置历史状态,强力写入当前重要词元; - 当
趋近于 时, 且 ——模型冻结旧记忆,直接忽略当前噪声词元。
引入时变参数后,FFT 全局卷积失效。Mamba-1 通过并行前缀扫描(Parallel Associative Scan)(利用仿射线性变换结合律在
5. Mamba-2:结构化状态空间对偶(SSD)与分块矩阵乘法
尽管 Mamba-1 的并行扫描已很快,但它依然是标量/向量操作,无法充分吃满现代 GPU(H100/B200)专精矩阵乘法的 Tensor Core 算力。
Mamba-2(Dao & Gu, 2024) 揭示了一个震撼的理论统一——状态空间对偶(Structured State Space Duality, SSD):将对角矩阵
将矩阵
(查询)、 (键)、 (值); - 因果衰减下三角掩码
正是 1-半可分矩阵(1-Semiseparable Matrix)!
借助这一对偶性,Mamba-2 提出 Chunkwise SSD 算法:将序列切分为大小为
6. 混合架构(Jamba / Zamba / MiniMax-01)的工业收敛
理论与大规模评测(如电话簿精确回忆任务 Recall / Copying)证明:任何定长隐状态受限于信息论香农容量上限,在超长文档的精确逐字回溯检索上天然弱于显式保留全部 KV 的 Softmax 注意力。因此,前沿工业界迅速收敛向 Hybrid SSM-Attention 混合架构:
- Jamba(AI21 Labs):按 7:1 比例交替堆叠 Mamba 层与全注意力层,并在每两层中融合 MoE,将 256K 上下文 KV Cache 压缩至纯 Transformer 的
; - Zamba(Zyphra):主干为全 Mamba 层,每隔 6 层插入一个全网共享权重的全局注意力层,极致省参同时恢复精确检索能力;
- MiniMax-01 / Qwen3-Next:采用 7:1 或 3:1 的闪电线性注意力(Lightning Attention / Gated DeltaNet)与全 Softmax 注意力混合,兼顾百万级上下文极速吞吐与高精度大海捞针能力。
算法架构与数据流图
图表加载中...
复杂度与横向对比表
设序列长度为
| 序列建模架构 | 训练/预填充复杂度 | 单步解码计算量 | 推理状态显存占用 | 长程精确逐字回忆 | GPU Tensor Core 利用率 |
|---|---|---|---|---|---|
| 标准 Transformer (MHA/GQA) | 极强(无损查阅全部 KV) | 极高(FlashAttention GEMM) | |||
| Linear Attention / RWKV | 弱~中(受定长状态容量限制) | 高(分块矩阵形态) | |||
| S4(LTI SSM) | 弱(时不变无内容选择) | 中(依赖 FFT 算子) | |||
| Mamba-1(Selective SSM) | 中强(内容选择性遗忘) | 中(向量级并行扫描) | |||
| Mamba-2(SSD) | 强(支持大状态 | 极高(Chunkwise GEMM) | |||
| Hybrid(Jamba / Zamba 等) | 近似 | 极低 | 缩减 | 极强(媲美全注意力) | 极高 |
核心 PyTorch 参考实现
以下代码清晰实现 Mamba-2 的核心 SSD(Structured State Space Duality)分块矩阵算法,直观演示如何用纯矩阵乘法(块内)+ 轻量级跨块状态传递实现
python
import torch
import torch.nn.functional as F
def segsum(x: torch.Tensor) -> torch.Tensor:
"""稳定计算下三角累积和 L_{ij} = sum_{k=j+1}^{i} x_k(对应 log 空间衰减因子)"""
# x: [..., T] -> out: [..., T, T]
T = x.size(-1)
x = x.unsqueeze(-1).expand(*x.shape, T)
mask_strict_lower = torch.tril(torch.ones(T, T, device=x.device, dtype=torch.bool), diagonal=-1)
x = x.masked_fill(~mask_strict_lower, 0.0)
x_segsum = torch.cumsum(x, dim=-2)
mask_lower = torch.tril(torch.ones(T, T, device=x.device, dtype=torch.bool), diagonal=0)
return x_segsum.masked_fill(~mask_lower, float("-inf"))
def ssd_chunkwise(
X: torch.Tensor, # [B, N, H, P] (等效 V)
A: torch.Tensor, # [B, N, H] (log 空间标量衰减因子,负值)
B_mat: torch.Tensor, # [B, N, H, S] (等效 K, 状态维 S)
C_mat: torch.Tensor, # [B, N, H, S] (等效 Q, 状态维 S)
chunk_size: int = 16,
) -> torch.Tensor:
"""Mamba-2 Chunkwise SSD 核心算法(纯 PyTorch 教学实现)"""
B, N, H, P = X.shape
S = B_mat.shape[-1]
assert N % chunk_size == 0
num_chunks = N // chunk_size
# 重塑为块维度: [B, C_num, Q, H, ...]
X_c = X.view(B, num_chunks, chunk_size, H, P)
A_c = A.view(B, num_chunks, chunk_size, H).permute(0, 3, 1, 2) # [B, H, C_num, Q]
B_c = B_mat.view(B, num_chunks, chunk_size, H, S)
C_c = C_mat.view(B, num_chunks, chunk_size, H, S)
A_cumsum = torch.cumsum(A_c, dim=-1) # 每块内从起点到当前步的累计 log 衰减
# 1. 块内对角计算(对偶线性注意力形式,充分利用 GEMM Tensor Core)
L = torch.exp(segsum(A_c)) # [B, H, C_num, Q_l, Q_s]
Y_diag = torch.einsum("bclhn,bcshn,bhcls,bcshp->bclhp", C_c, B_c, L, X_c)
# 2. 计算每个块独立产生的末尾隐状态(从块内各时刻衰减至块尾)
decay_to_end = torch.exp(A_cumsum[..., -1:] - A_cumsum) # [B, H, C_num, Q]
chunk_states = torch.einsum("bclhn,bhcl,bclhp->bchnp", B_c, decay_to_end, X_c)
# 3. 块间低维递推扫描(跨 num_chunks 步聚合历史状态)
# 计算跨块衰减矩阵: [B, H, C_num+1, C_num+1]
init_state = torch.zeros(B, 1, H, S, P, device=X.device, dtype=X.dtype)
states_padded = torch.cat([init_state, chunk_states], dim=1) # [B, C_num+1, H, S, P]
chunk_decay = F.pad(A_cumsum[..., -1], (1, 0)) # [B, H, C_num+1]
inter_decay = torch.exp(segsum(chunk_decay)) # [B, H, C_num+1, C_num+1]
prev_states = torch.einsum("bhzc,bchnp->bzhnp", inter_decay, states_padded)[:, :-1]
# 4. 将进入每个块的历史初始状态投影到块内每个时刻,并与块内结果相加
decay_from_start = torch.exp(A_cumsum) # [B, H, C_num, Q]
Y_off = torch.einsum("bclhn,bchnp,bhcl->bclhp", C_c, prev_states, decay_from_start)
return (Y_diag + Y_off).reshape(B, N, H, P)
def ssd_naive_rnn(X, A, B_mat, C_mat) -> torch.Tensor:
"""逐步串行 RNN 递推(推理模式,仅维护 O(1) 定长状态 h)"""
B, N, H, P = X.shape
S = B_mat.shape[-1]
h = torch.zeros(B, H, S, P, device=X.device, dtype=X.dtype)
outs = []
for t in range(N):
a_t = torch.exp(A[:, t, :]).view(B, H, 1, 1) # 标量衰减
# h_t = a_t * h_{t-1} + B_t (outer) X_t
h = a_t * h + torch.einsum("bhs,bhp->bhsp", B_mat[:, t], X[:, t])
y_t = torch.einsum("bhs,bhsp->bhp", C_mat[:, t], h)
outs.append(y_t)
return torch.stack(outs, dim=1)
if __name__ == "__main__":
torch.manual_seed(42)
B, N, H, P, S = 2, 64, 4, 32, 16
X = torch.randn(B, N, H, P)
A = -F.softplus(torch.randn(B, N, H)) * 0.2 # 负对数衰减,确保 exp(A) in (0, 1)
B_mat = torch.randn(B, N, H, S) * 0.1
C_mat = torch.randn(B, N, H, S) * 0.1
y_chunk = ssd_chunkwise(X, A, B_mat, C_mat, chunk_size=16)
y_rnn = ssd_naive_rnn(X, A, B_mat, C_mat)
print("Chunkwise SSD shape:", y_chunk.shape)
print(f"分块 SSD 与逐步 RNN 递推最大误差: {(y_chunk - y_rnn).abs().max().item():.2e}")工程实践与常见陷阱
工程实践
- 局部短卷积(Short 1D Conv)不可省略:在 Mamba-1/2 和 DeltaNet 模块进入 SSM 扫描之前,通常会先经过一个核宽为
4的因果深度可分离一维卷积(Causal Depthwise Conv1D),用于高效捕捉相邻 2~4 个词元的局部 n-gram 特征,并作为移位寄存器大幅增强状态空间对局部词序的敏感度。 - 用少量全注意力层补足 Recall 短板:如果业务涉及长文档精准问答、代码跨文件引用或上下文拷贝,切勿盲目部署纯 SSM 模型;采用 混合架构(每 4~8 层线性/Mamba 层穿插 1 层 GQA/MLA 全注意力层)是工业界经大规模验证的最佳性价比平衡点。
- 块大小
的硬件调优:在 Mamba-2 SSD 实现中,块大小 chunk_size通常设为 64 或 128(极少数取 256),以便块内乘法矩阵恰好装入 GPU SRAM,平衡块内计算量与跨块状态传输开销。
常见陷阱
- 衰减参数
初始化与精度陷阱:离散化参数 的实部必须严格为负(常见做法是存储 参数并在前向取 ),否则特征值大于 会在长序列递推中触发指数级数值爆炸;此外 的更新与状态累加在 BF16 训练中务必保持 FP32 精度。 - Prefix Caching(前缀缓存复用)难度高于 KV Cache:在多轮对话或共享系统提示词服务中,Transformer 可以直接按任意截断点回退或复用历史 KV Cache;而 SSM/RNN 仅保存最后一个时刻的压缩状态
,无法直接从 倒推出 ,若需支持前缀复用(如 vLLM 对 Mamba 的适配),必须定期保存检查点快照状态(State Checkpointing)。 - 忽略输入门控(Gating)与 Normalization:早期线性注意力直接输出
往往训练极不稳定;现代 Mamba-2 与 Gated Linear Attention 均在输出端结合了 RMSNorm 与 SiLU 残差门控(类似 SwiGLU),移除任一组件都会导致显著的困惑度退化。
延伸阅读与参考论文
- 核技巧线性注意力:Katharopoulos et al., Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention, ICML 2020 (arXiv:2006.16236 ↗).
- S4 与 HiPPO 理论奠基:Gu et al., Efficiently Modeling Long Sequences with Structured State Spaces (S4), ICLR 2022 (arXiv:2111.00396 ↗).
- RWKV 架构演进:Peng et al., RWKV: Reinventing RNNs for the Transformer Era, EMNLP Findings 2023 (arXiv:2305.13048 ↗); Eagle and Finch: RWKV with Matrix-Valued States, 2024 (arXiv:2404.05892 ↗).
- Mamba-1 选择性状态空间:Gu & Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces, COLM 2024 (arXiv:2312.00752 ↗).
- Mamba-2 SSD 对偶统一:Dao & Gu, Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality, ICML 2024 (arXiv:2405.21060 ↗).
- 大规模混合架构落地:Lieber et al. (AI21), Jamba: A Hybrid Transformer-Mamba Language Model, ICLR 2025 (arXiv:2403.19887 ↗); MiniMax, MiniMax-01: Scaling Foundation Models with Lightning Attention, 2025 (arXiv:2501.08313 ↗).