外观
概念定义 · 什么是 FlashAttention?
很多人以为标准自注意力慢是因为乘法太多,其实真正卡脖子的不是算力,而是 GPU 显存搬运太慢——标准实现要把巨大的
FlashAttention 是一种 100% 数学精确、绝不近似 的硬件感知加速算法:它把 Q、K、V 切成刚好塞进 GPU 超高速片上缓存(SRAM)的小块,利用 Online Softmax 技巧在高速缓存里一口气算完最终输出,全程彻底省掉了
01 问题从何而来:算得飞快,全耽误在跑腿上
很长一段时间里,大家提到 自注意力机制 慢、显存容易爆,第一反应都是:“因为它要算
2022 年,Tri Dao 等人提出 FlashAttention(arXiv:2205.14135 ↗),一针见血地戳破了盲区:标准注意力慢,根本不是 GPU 算不过来,而是全卡在“来回搬数据”的路上!
类比 · 大厨的料理台 vs 地下冷库
把一块 NVIDIA GPU 想象成一家顶级米其林厨房:
- Tensor Core 是刀功出神入化的超级大厨,切菜速度堪比光速;
- 片上 SRAM 是大厨手边那张极小的料理台,总共只有几十 MB,但伸手就能拿到(带宽高达 19–33 TB/s);
- HBM 显存 是楼下巨大的冷库,能装 80 GB 食材,但每次上下楼搬运慢了一个数量级(只有 1.5–3.35 TB/s)。
标准 PyTorch 注意力的做法荒唐透顶:大厨先下楼把
核心设问
能不能让大厨把食材切成刚好放得进料理台的小块,就在手边一口气完成“打分 → Softmax → 乘 V”,全程绝不把巨大的
02 核心直觉与生活类比
听起来很简单——分块算不就完了吗?可真正卡住所有人的“拦路虎”是 Softmax:为了防止指数溢出并算出准确分母,你需要知道整行所有
类比 · 边读边改账的会计:Online Softmax 的绝妙戏法
想象你要给一万道菜按分数算出加权平均口味,但你手头的小本子一次只能记 100 道菜。你先看完前 100 道菜,发现目前最高分是 80 分,于是顺手以 80 分为基准算出了一个“临时加权结果”,并把当前最高分 80 和总权重 L1 记在页眉,随后就把前 100 道菜的明细全扔了。
看第二批 100 道菜时,突然冒出一道 90 分的新菜王!刚才按 80 分算的旧账是不是白算了、得把前 100 道菜重新翻出来?
完全不用! 因为指数函数有个逆天的性质:
这就是 分块(Tiling)+ Online Softmax(arXiv:1805.02867 ↗)的灵魂:小料理台从头到尾只维护极小的几个累加器,彻底消灭了
训练时的反向传播也同样聪明:常规做法为了算梯度,前向时必须把
类比 · 为什么 FlashAttention-2 比初代又快了一倍?
初代 FlashAttention 虽然消灭了来回搬运,但分工方式还有些别扭:它让外循环遍历
FlashAttention-2(arXiv:2307.08691 ↗)把循环顺序反过来:外层遍历
03 把关键公式读成人话
Online Softmax 最核心的递推公式只有两行(以 FlashAttention-2 延迟归一化形式为例):
把公式读成直觉:-
- 修正系数
永远落在 之间:如果这一块没打破纪录,它就是 ,旧账纹丝不动;如果打破了纪录,它就把旧账 和旧输出 按精确比例缩小,对齐到新基准。 - 最巧妙的是 FlashAttention-2 的“懒人优化”:循环过程里全程不除以
,等所有 块全扫描完,在最后一步统一算一次 ,省掉了大量昂贵的非矩阵乘除法。
再看论文证明的 HBM 访存复杂度:
把公式读成直觉:- 标准注意力每次要搬运
- 这里的
是料理台(SRAM)容量, 是单头维度。拿典型值 一代,光冷库往返搬运量就直接砍掉了 9 倍以上!料理台越大,省得越狠。
04 它在模型里怎么工作 & 与上下游的关系
FlashAttention 是今天所有主流大模型默认的“心脏起搏器”:
- 向上严格兼容数学定义:它对 自注意力机制 不做任何近似,输出的数值与标准实现完全等价;由于不需要在
上加显式 2D 偏置矩阵,它和 旋转位置编码 RoPE 堪称天作之合。 - 训练阶段撬动超长上下文:它把反向传播的激活显存从
压到 ,是 显存优化与重计算 的典范,也让 长上下文训练 和跨卡 序列并行(Ring Attention) 成为现实——Ring Attention 本质上就是把 Online Softmax 分块从单张卡的 SRAM 推广到了几十张卡之间。 - 推理阶段无缝衔接缓存与压缩:在 Prefill 阶段直接打满 Tensor Core;进入 Decode 阶段时,由于每次查询长度
,需要切换成沿 KV 长度切分的 FlashDecoding(Stanford Blog ↗)并与 PagedAttention KV Cache 融为一体;到了 FlashAttention-3 甚至直接结合了块级 FP8 量化。
05 演化对比与避坑备忘
三代 FlashAttention 的演进,其实就是一部越来越懂 GPU 硬件脾气的“榨干史”:
| 版本 | 核心突破(说人话) | 典型算力利用率 |
|---|---|---|
| Standard Attention | 算一步存一次冷库,显存 | < 25%(长文直接 OOM) |
| FlashAttention-1 (arXiv ↗) | 分块 + Online Softmax + 反向重算,显存降到 | 25%–40%(A100) |
| FlashAttention-2 (arXiv ↗) | 换外循环遍历 | 50%–73%(A100/H100) |
| FlashAttention-3 (arXiv ↗) | Hopper 专属:TMA 异步搬砖 + Softmax/GEMM 乒乓重叠 + 低误差 FP8 | 75%–85%(H100 破 1.2 PFLOPS) |
实际写代码调用 FlashAttention,有三个经典暗坑要提前绕开:
- 别手痒往里面塞稠密 2D
attn_mask:FlashAttention 飞快的前提是掩码有规律(因果三角、滑动窗口等),算子可以直接跳过整个上三角块省一半算力。一旦硬塞一张任意形状的浮点掩码,不仅瞬间退回 显存,性能也会暴跌。有复杂掩码需求,现代 PyTorch 请直接上编译器生成的 FlexAttention(PyTorch Blog ↗)。 - 多样本拼接务必用
varlen紧凑打包:如果把长短不一的句子用 Padding 补齐成矩形再算,大量算力都白白烧在了无效填充词上。工业训练和推理一律把多条样本头尾相接压平,再传一个cu_seqlens边界数组给flash_attn_varlen_func,彻底消灭无效计算。 - 当心“全掩码行”炸出
NaN和反向微小波动:若左填充或异常跨文档掩码导致某个查询词一个可见的 Key 都没有,局部最大值,算 exp(-inf - (-inf))立刻吐NaN。另外 FA2 反向默认用 GPUatomicAdd汇总dQ,浮点加法顺序略有浮动,若做严格复现实验记得显式打开deterministic=True。 - Decode 阶段别直接傻跑标准 FlashAttention:逐字生成时每次查询只有
个词,而历史 KV 可能长达 64K。如果还按 切分并行,整张显卡只有区区几个线程块在干活,九成核心全在围观!推理引擎此时会自动切到 FlashDecoding(Split-KV),把 64K 的历史 KV 拆成几十段并行算完再归约合并,瞬间把长文吐字速度拉回来。
需要查阅 Online Softmax 完整归纳证明、反向传播
梯度公式、H100 Warp 特化细节与可运行 flash_attention_v2_forwardPyTorch 代码?按快捷键M或点击顶部技术 Wiki即可随时切换。
在标准 Transformer 实现中,自注意力(Self-Attention) 的时间与显存复杂度均随序列长度
直观理解
把 GPU 想象成一位极速大厨(Tensor Core),他手边有一张极小但拿取飞快的料理台(片上 SRAM),而大仓库(显存 HBM)虽容量巨大但往返搬运极慢。标准注意力每次都要把一整张
问题动机与演进背景
GPU 存储层级与带宽剪刀差
现代 GPU(如 NVIDIA A100 与 H100)呈现典型的金字塔形存储架构:
- HBM(High Bandwidth Memory,片外全局显存):容量大(40 GB–80 GB),但带宽相对有限(A100 约
,H100 约 )。 - 片上 SRAM(Shared Memory / Register File):总容量极小(分布在百余个 SM 中,合计仅约
),但片上访存带宽高达 ,比 HBM 快一个数量级以上。
随着 Tensor Core 算力每代暴涨,算力增速远超 HBM 带宽增速,越来越多的非矩阵乘算子(Softmax、Dropout、Masking、逐元素加法)沦为严重的 Memory-Bound(访存受限) 算子。
标准注意力的 IO 瓶颈
给定
- 从 HBM 读取
,计算 ,将 写回 HBM; - 从 HBM 读取
,应用因果掩码与 Softmax 得到 ,将 写回 HBM; - 从 HBM 读取
和 ,计算输出 ,将 写回 HBM。
该过程不仅在显存中实化(Materialize)了庞大的
核心原理与数学推导
要将整个注意力融合成单一 CUDA Kernel 且不在 HBM 落盘
1. Online Softmax 精确数学推导
对于长度为
现将向量切分为两块
将此递推推广到注意力输出矩阵的分块累加。设当前处理第
- 计算当前块的局部行最大值
; - 更新运行最大值
; - 计算未归一化局部概率块
与行和 ; - 更新运行分母
; - 修正并累加未归一化输出(FlashAttention-2 化简形式):
当全部
通过数学归纳法易证,上述在线递推得到的
2. 分块尺寸与 HBM IO 复杂度证明
设单 SM 可用 SRAM 容量为
- 外层遍历
块(或 FA2 中外层遍历 块),整个算法对 、 读写 ,对 的每一块需被全部 个 块各读一次(或反过来),总 HBM 访问量为:
代入典型参数
3. 反向传播的 IO 感知重计算策略
标准反向传播需要读取前向缓存的
在反向传播分块扫描时,算子在片上利用
并借助标量内积
尽管多执行了一次
4. FlashAttention-2 与 FlashAttention-3 的硬件演进
- FlashAttention-2(Dao, 2023,arXiv:2307.08691 ↗):针对 FA1 仅能达到理论峰值算力 25%–40% 的问题作出三大改进:
- 削减非矩阵乘 FLOPs:取消内循环中每步对
的 反复缩放,推迟至内循环末尾一次性除以最终 ; - 序列维度并行与内外循环互换:将外循环改为遍历
块,不同线程块独立处理不同的 ,既消除跨块写回 时的原子锁竞争,又能在长序列、小 Batch 下打满所有 SM; - Warp 分工由 Split-K 改为 Split-Q:同一线程块内的多个 Warp 切分
行而非切分 ,各 Warp 独立累加各自的 子行,彻底省去 Shared Memory 跨 Warp 归约同步开销,将算力利用率推升至 50%–73%。
- 削减非矩阵乘 FLOPs:取消内循环中每步对
- FlashAttention-3(Shah et al., 2024,arXiv:2407.08608 ↗):专为 NVIDIA Hopper(H100)架构深度定制:
- Warp 特化(Warp Specialization)与 TMA 异步搬运:将线程块内的 Warpgroup 划分为 Producer(使用硬件 TMA 引擎异步从 HBM 预取
至 SRAM)与 Consumer(专注发射 WGMMA 异步张量核心指令); - GEMM 与 Softmax 乒乓流水(Ping-Pong Scheduling):让第
块的非矩阵乘 Softmax(运行在特殊功能单元 SFU)与第 块的 Tensor Core WGMMA 硬件级重叠执行,隐藏 Softmax 延迟; - 低误差 FP8(E4M3)支持:结合分块 FP8 量化 与随机正交变换(Hadamard Incoherent Processing)分散激活离群值,将 FP8 注意力量化误差压低 2.6 倍,在 H100 上突破 1.2 PFLOPS。
- Warp 特化(Warp Specialization)与 TMA 异步搬运:将线程块内的 Warpgroup 划分为 Producer(使用硬件 TMA 引擎异步从 HBM 预取
算法架构与数据流图
以下架构图对比了 HBM 与片上 SRAM 之间的分块流式调度逻辑(以 FlashAttention-2 外层遍历
图表加载中...
复杂度与横向对比表
| 算子版本 | 显存复杂度 | HBM 访存量 | 核心并行维度 | 关键硬件特性 | 典型 H100 FP16/FP8 算力利用率 |
|---|---|---|---|---|---|
| Standard Attention | Batch, Heads | 独立 GEMM + Softmax | 低于 25%(长序列 OOM) | ||
| FlashAttention-1 (2022) | Batch, Heads | Tiling + Online Softmax + 重计算 | 约 25%–40%(A100) | ||
| FlashAttention-2 (2023) | Batch, Heads, Seq_Q | Split-Q Warp 分工 + 延迟归一化 | 约 50%–73%(A100/H100) | ||
| FlashAttention-3 (2024) | Batch, Heads, Seq_Q | Hopper TMA + WGMMA + Warp 特化 + FP8 | 约 75%–85%(FP16 达 740+ TFLOPS) |
核心 PyTorch 参考实现
以下纯 PyTorch 实现完整复现了 FlashAttention-2 分块前向传播与 Online Softmax 递推算法(含因果掩码跳过优化),并验证其数值与标准精确注意力在浮点误差范围内完全等价:
python
import math
import torch
import torch.nn.functional as F
def flash_attention_v2_forward(
Q: torch.Tensor, # (B, H, N, D)
K: torch.Tensor, # (B, H, N, D)
V: torch.Tensor, # (B, H, N, D)
block_r: int = 32, # Q 分块大小 B_r
block_c: int = 32, # K/V 分块大小 B_c
causal: bool = True,
):
"""
教学级 FlashAttention-2 分块前向实现:
模拟 SRAM 内循环分块计算与 Online Softmax,返回输出 O 及反向所需 log-sum-exp L。
"""
B, H, N, D = Q.shape
scale = 1.0 / math.sqrt(D)
O = torch.zeros_like(Q) # (B, H, N, D)
L = torch.empty((B, H, N), device=Q.device, dtype=torch.float32)
# 外循环遍历 Q 的分块(在真实 CUDA Kernel 中由不同 Thread Block 并行执行)
for q_start in range(0, N, block_r):
q_end = min(q_start + block_r, N)
q_len = q_end - q_start
Q_i = Q[:, :, q_start:q_end, :] # (B, H, B_r, D)
# 片上 SRAM 累加器(统一用 FP32 保持累加数值精度)
O_i = torch.zeros((B, H, q_len, D), device=Q.device, dtype=torch.float32)
m_i = torch.full((B, H, q_len, 1), float("-inf"), device=Q.device, dtype=torch.float32)
l_i = torch.zeros((B, H, q_len, 1), device=Q.device, dtype=torch.float32)
# 因果掩码下,完全位于对角线右侧的 K/V 块可直接跳过(省去约 50% 计算!)
kv_limit = q_end if causal else N
for kv_start in range(0, kv_limit, block_c):
kv_end = min(kv_start + block_c, N)
K_j = K[:, :, kv_start:kv_end, :] # (B, H, B_c, D)
V_j = V[:, :, kv_start:kv_end, :] # (B, H, B_c, D)
# 1. 计算局部注意力打分 S_ij: (B, H, B_r, B_c)
S_ij = torch.matmul(Q_i, K_j.transpose(-1, -2)).float() * scale
# 仅在跨越对角线的块内施加逐元素因果掩码
if causal and kv_end > q_start:
q_idx = torch.arange(q_start, q_end, device=Q.device)[:, None]
k_idx = torch.arange(kv_start, kv_end, device=Q.device)[None, :]
S_ij = S_ij.masked_fill(k_idx > q_idx, float("-inf"))
# 2. Online Softmax 统计量递推更新
m_ij = S_ij.max(dim=-1, keepdim=True).values # (B, H, B_r, 1)
m_new = torch.maximum(m_i, m_ij) # (B, H, B_r, 1)
alpha = torch.exp(m_i - m_new) # 旧累加器重缩放因子
P_tilde = torch.exp(S_ij - m_new) # 局部未归一化权重 (B, H, B_r, B_c)
l_new = alpha * l_i + P_tilde.sum(dim=-1, keepdim=True)
# 3. 延迟归一化:仅乘以缩放因子 alpha 并累加 P_tilde @ V_j
O_i = alpha * O_i + torch.matmul(P_tilde, V_j.float())
m_i, l_i = m_new, l_new
# 循环结束一次性执行输出归一化并保存 L_i = m_i + log(l_i)
O[:, :, q_start:q_end, :] = (O_i / l_i).to(Q.dtype)
L[:, :, q_start:q_end] = (m_i + torch.log(l_i)).squeeze(-1)
return O, L
if __name__ == "__main__":
torch.manual_seed(0)
B, H, N, D = 2, 4, 128, 64
Q = torch.randn(B, H, N, D)
K = torch.randn(B, H, N, D)
V = torch.randn(B, H, N, D)
out_flash, lse = flash_attention_v2_forward(Q, K, V, block_r=32, block_c=32, causal=True)
out_ref = F.scaled_dot_product_attention(Q, K, V, is_causal=True)
max_diff = (out_flash - out_ref).abs().max().item()
print(f"Max absolute diff vs PyTorch SDPA: {max_diff:.2e}")
assert torch.allclose(out_flash, out_ref, atol=1e-5)工程实践与常见陷阱
工程实践
- Decode 阶段需切换至 FlashDecoding(Split-KV):在自回归推理的 Decode 阶段,查询长度
,而 KV Cache 长度 可能高达 32K 甚至 128K。此时按 序列并行只能启动极少线程块,大量 SM 闲置。FlashDecoding 在 维度再做并行切分(Split-KV),各线程块并行算完局部注意力与 LSE 后,再由一个轻量归约 Kernel 利用 Online Softmax 公式合并结果,可将长序列解码提速数倍。 - 头维度
对齐与可变长打包(Varlen):FlashAttention 的 CUDA 模板对 做过极致寄存器优化;在训练与推理批处理中,应使用 flash_attn_varlen_func配合累积序列长度cu_seqlens将不等长样本紧凑拼接(Sequence Packing),彻底避免 Padding Token 浪费算力。 - 利用因果块稀疏跳过与滑动窗口:对于因果注意力,内循环可直接跳过全部满足
kv_start >= q_end的上三角块,自然获得接近的理论加速;对于 Sliding Window Attention(如 Mistral)也只需收缩内循环上下界即可零额外开销支持。
常见陷阱
- 反向传播的非确定性(Non-Determinism):FlashAttention-2 反向算子在将不同键值块贡献的梯度累加至
时,默认使用 GPU atomicAdd操作,浮点数加法的结合律差异会导致相同输入在多次运行间产生微小梯度波动。若需严格可复现训练,需显式开启deterministic=True(会带来轻微性能回退)。 - 自定义任意 2D 注意力掩码的性能退化:FlashAttention 的高速依赖于因果、滑动窗口、ALiBi 等结构化掩码的解析计算。若强行传入稠密的
浮点 attn_mask,不仅会重新引回显存占用,还会打破 IO 优势。现代框架(如 PyTorch FlexAttention)通过编译自定义 score_mod与mask_mod块稀疏函数,兼顾了灵活性与 FlashAttention 级性能。 - 全掩码行导致
NaN:如果某一行在所有键值位置上均被掩码为(常见于左填充或异常跨文档掩码),会导致 ,进而 exp(-inf - (-inf))产生NaN。工程上必须在构造cu_seqlens或自定义掩码时确保每个有效查询至少可见一个键。
延伸阅读与参考论文
- Milakov, M., & Gimelshein, N. (2018). Online normalizer calculation for softmax. arXiv:1805.02867 ↗(提出数值稳定的 Online Softmax 单遍归约算法)
- Dao, T., Fu, D. Y., Ermon, S., Rudra, A., & Ré, C. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS 2022. arXiv:2205.14135 ↗(FlashAttention 奠基论文)
- Dao, T. (2023). FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning. ICLR 2024. arXiv:2307.08691 ↗(序列维度并行与 Split-Q Warp 分工优化)
- Dao, T., Haziza, D., Massa, F., & Sizov, G. (2023). Flash-Decoding for Long-Context Inference. Stanford CRFM Blog ↗(针对
解码阶段的 Split-KV 并行化) - Shah, J., Bikshandi, G., Zhang, Y., Thakkar, V., Ramani, P., & Dao, T. (2024). FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision. NeurIPS 2024. arXiv:2407.08608 ↗(Hopper 异步 TMA/WGMMA 流水线与低误差 FP8 融合算子)
- Dong, J., et al. (2024). FlexAttention: A Programming Model for Generating Optimized Attention Kernels. PyTorch Blog ↗(基于编译器生成的高性能可编程注意力框架)