Skip to content

数值稳定性微构件:Soft-Capping、Z-Loss、Attention Sink 与 Gated Attention

剖析 Soft-Capping、Z-Loss、Attention Sink 与 Gated Attention 稳训。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是训练稳定性微构件(Soft-Capping / Z-Loss / Gated Attention)?

大模型做到百亿、千亿规模后,哪怕整体架构正确,也常会在训练中途莫名其妙出现梯度飙升、Loss 突然炸飞或某些隐藏维度出现几千倍超大离群激活(Massive Activation)。

Logit Soft-Capping、Z-Loss 和 Gated Attention 就是前沿实验室(Gemma、PaLM、Qwen 等)打磨出来的一组“微创稳压阀”:改动只有几行代码,几乎不增加算力,却能精准锁死分数爆炸、消除无意义的 Attention Sink 占位现象,让超大模型稳稳跑完十几万亿 Token。

01 问题从何而来:明明装了 RMSNorm,为什么百亿大模型还是动不动就炸? ​

学过 归一化机制 后你可能会纳闷:既然每层都已经套上了 Pre-RMSNorm 和梯度裁剪,为什么训百亿大模型跑几万步后,Loss 还是会毫无征兆地突然飙成一根冲天尖刺(Loss Spike),甚至部署做 低比特量化 时一压缩精度就血崩?

工程师们把模型拆开做“核磁共振”,终于在 Transformer 内部揪出了三个极其狡猾的暗礁:

  1. Logits 疯涨爆表:注意力打分或最后预测词表的分数一路狂飙,把半精度指数 exp(z) 直接冲穿成 Inf;
  2. 配分函数悄然漂移:Softmax 天生对“给所有分数同时加 1000”免疫,结果训练久了分数整体越飘越高,把 BF16 宝贵的有效数字位数全浪费在无意义的大常数上;
  3. Attention Sink(注意力黑洞)与数万倍巨型尖峰:模型居然把近一半注意力权重死死盯在毫无意义的开头符号 `<bos>` 上,并在个别通道养出比普通数值大 10,000 倍 的怪兽级异常激活(Massive Activation)!

为了彻底铲平这些暗礁,Google、MIT 与通义千问团队先后锻造出了四枚极简却威力巨大的“数值稳定性微构件”——Logit Soft-Capping、Z-Loss、QK-Norm 与 Gated Attention。

类比 · 涡轮引擎里的四枚“防爆微组件”

把万亿词元高速训练的大模型想象成一台超频运转的喷气式涡轮引擎:

  • QK-Norm 是进气口的“压力限幅阀”,提前把进来的 Q 和 K 模长摁住,防止点积一见面就爆音;
  • Logit Soft-Capping 是套在分数天花板上的“橡胶缓冲垫”,数值太大时柔和压弯,绝不让它撞穿屋顶;
  • Z-Loss 是给 Softmax 装上的“零点归位弹簧”,防止所有分数不知不觉整体漂上九霄云外;
  • Gated Attention 则是给每个注意力头配了一把“物理静音开关”——没话要说时直接拉闸闭嘴,再也不用被迫找个垃圾桶倒垃圾!
核心设问

为什么传统大模型会莫名其妙把一半注意力全倒在第一个词元上、还顺带养出毁掉量化的“一万倍巨型尖峰”?为什么仅仅在注意力输出后面补一个极简的 Sigmoid 门控(Gated Attention),就能一刀把这两个顽疾连根拔起?

02 核心直觉:Softmax “强迫花光 100% 预算”惹的祸! ​

先看最神秘也最有趣的 Attention Sink(注意力汇点)(StreamingLLM, 2023 ↗;Massive Activations, 2024 ↗)。

类比 · 单位年底“必须花光预算”的荒诞规则

想象公司财务规定:每个部门(每个注意力头)年底拿到 100% 预算(Softmax 要求所有词元权重非负且总和必须严格等于 1),一分钱都不能剩、不能上交国库!

结果到了很多时刻,某个注意力头在当前句子里根本不需要查任何历史信息,只想安安静静输出一个 0。可 Softmax 铁律逼着它必须把 100% 的权重分给前面某个词!被逼无奈的注意力头只好全网找一个所有词永远都能看见的公用垃圾桶——那就是排在第 0 位的开头词元 `<bos>`!它把多余权重一股脑全倒进 `<bos>`,顺便把 `<bos>` 的特征向量拉成比正常值大一万倍的巨型尖峰(Massive Activation),以确保无论后面来什么词都能稳稳把垃圾倒进去!

明白病因,解药简直拍案叫绝!阿里通义千问团队在 Gated Attention(2025)↗ 中证明:只要在缩放点积注意力(SDPA)算完输出之后、乘以输出矩阵 WO 之前,加一个由当前输入控制的 Sigmoid 门控开关——

类比 · 装上“静音闭嘴开关”:Gated Attention

当某个注意力头觉得“这一步我没啥可补充的”,它只需把门控开关 σ(XWθ) 往 0 一拧,当场闭嘴输出零向量!财务不再逼着它乱花预算,首词元 `<bos>` 立刻退休下岗,Attention Sink 占比从 40%+ 暴跌到不足 5%,毁掉低比特量化的万倍怪兽激活也随之灰飞烟灭!

至于另外两位功臣同样直白:

  • Logit Soft-Capping(Gemma 2, 2024 ↗):用 c⋅tanh⁡(z/c) 给分数封顶。平时分数小的时候几乎原封不动;一旦某个极端样本想飙到几百,双曲正切像弹簧一样把它平滑摁在 (−c,c) 里,梯度也温柔降回 0。
  • Z-Loss(PaLM, 2022 ↗;ST-MoE, 2022 ↗):既然 Softmax 对“全体加常数”没感知,就在总 Loss 里加一丢丢惩罚项,只要配分函数 log⁡Z 偏离 0 就轻轻拽回来,既稳了词表头,更救活了极易崩溃的稀疏 MoE 路由器!

03 把关键公式读成人话 ​

把 Logit Soft-Capping 与 Gated Attention(G1 位置) 两枚核心公式并排对照:

softcap(z;c)=c⋅tanh(zc),Ygated=SDPA(Q,K,V)⊙σ(XWθ)

把公式读成直觉:- 左式(软截断缓冲垫):当分数 z 远小于上限 c(例如 c=50 而 z=3)时,tanh⁡(3/50)≈3/50,乘回 50 几乎严格等于 3,零损伤;当 z 疯长到 500 时,tanh⁡(10)≈1,输出被牢牢摁死在 50 以内,彻底封死 exp 溢出!

  • 右式(输入依赖门控):σ(XWθ) 是一个由当前输入 X 动态算出的 0∼1 阀门。不仅打破了注意力里 WV 与 WO 连续线性变换的表达天花板,更给了模型“想关就关”的稀疏控流权,把 Attention Sink 和 Massive Activation 一锅端!

再看 Z-Loss 的极简正则项:

Lz-loss=λz⋅(log⁡∑jexp⁡(zj))2

**把飘走的配分函数拴在原点:**括号里的 log⁡∑jezj 就是 Softmax 分母的对数 log⁡Z。给它套上平方再乘个极小权重(如 λz=10−4),既完全不干扰模型分辨哪个词概率最高,又像拴风筝的细线一样,死死把整组 Logits 锚定在浮点精度最充沛的 0 附近!

04 它们在模型里怎么协同工作? ​

把这组微构件串联进现代 Transformer 的真实数据流,你会看到一条环环相扣、几乎不占参数的立体防线:

  1. 注意力入口:QK-Norm 先把 Q,K 规范到固定半径的超球面上,从上游封死点积爆炸,让模型敢用更大的峰值学习率起跑;
  2. 注意力内部:如 Gemma 2 等架构在点积后叠加 Attention Logit Soft-Capping(c=50)做双保险,杜绝极端样本把指数冲穿;
  3. 注意力出口:Gated Attention(G1) 接在 SDPA 与 WO 之间,既打破低秩双线性瓶颈降低困惑度,又从根源铲除 Attention Sink 与万倍巨型异常激活——让后续部署 INT4/FP4 低比特量化 时不再被个别异常通道拖垮,长上下文外推也稳如泰山;
  4. 稀疏路由与词表出口:MoE 路由器挂上 Router Z-Loss 杜绝专家分配指数崩塌,最终 lm_head 挂上 Output Z-Loss(或 Final Soft-Capping),让万卡集群上的 BF16/FP8 混合精度训练 全程平滑无尖峰!

对于 Gemma、PaLM、OLMo 与 Qwen 等前沿开源家族而言,今天已经极少只靠单一技巧单打独斗,而是根据目标精度与量化需求灵活组合这四枚微构件(例如 Pre-RMSNorm + QK-Norm + Gated Attention + Output/Router Z-Loss)。

05 演化对比与避坑备忘 ​

稳训微构件挂载位置治什么病?额外开销典型代表
QK-NormQ,K 后、RoPE 前注意力点积爆炸与熵坍塌极小Qwen3, Gemma 2, OLMo 2
Soft-Capping注意力分数 / lm_head极端 Logits 指数溢出零参数Gemma 2, Grok-1
Z-Losslm_head / MoE 路由器log⁡Z 漂移与路由崩溃零参数PaLM, ST-MoE, OLMo 2
Gated AttentionSDPA 后、WO 前根除 Sink 与巨型激活轻量(1~3%)Qwen (2025), Qwen3-Next

四个实战最容易踩的坑:

  1. Gated Attention 千万别贴错位置:门控必须接在 SDPA 输出之后、WO 之前,且由当前输入 X 决定!贴在 V 向量上或贴在 WO 后面,消除 Attention Sink 的奇效会大幅缩水。
  2. Soft-Capping 一定要用融合算子,别在 PyTorch 里手写:手写 tanh(QK^T / c) 会把注意力退化成 O(N2) 显存占用,速度暴跌!务必启用 FlashAttention-2/3 内置的 softcap 融合参数。
  3. 算 Z-Loss 的 logsumexp 务必切到 FP32,且权重别给太大:十几万词表在 BF16 下做指数累加极易失真,先 .float() 再求 logsumexp;系数 λz 保持在 1e-4(词表)或 1e-3(MoE 路由)即可,给太大会把正确类别的置信度也一起压扁。
  4. 存量模型与新训模型别混用策略:像 LLaMA-2/3 这类已经训好、没装 Gated Attention 的老模型,流式推理时依然要靠 StreamingLLM 保留前 4 个首词元 KV 续命;而从零起训的新模型,直接内置 Gated Attention 才是彻底治本之道。

想查阅 Soft-Capping 导数分析、Attention Sink 数学根源、立体防线全景数据流图,以及集成 QK-Norm、Soft-Capping、Gated Attention 与 Z-Loss 的完整 PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

在万亿词元规模、BF16/FP8 混合精度与高学习率的现代大模型预训练中,仅靠经典的 Pre-RMSNorm 与梯度裁剪已不足以彻底杜绝训练崩溃。工程界在长期对抗不可预测的 Loss Spike、注意力熵坍塌与低比特量化掉点时,陆续揪出了四大深藏于 Transformer 内部的隐蔽数值病灶:注意力与输出 Logits 爆炸、Softmax 配分函数 log⁡Z 无约束漂移、Attention Sink(注意力汇点) 以及与之伴生的 Massive Activation(巨型异常激活)。针对这些病灶,工业界打磨出一组参数量极小、几乎零算力损耗却能立竿见影的“数值稳定性微构件”——Logit Soft-Capping、Output / Router Z-Loss、Gated Attention(SDPA 输出门控) 以及上游的 QK-Norm,它们共同组成了当代前沿大模型的精密稳训装甲。

直观理解

如果把百亿参数大模型比作一台高速运转的喷气式涡轮引擎,Pre-RMSNorm 只是主油路稳压阀;真正决定引擎在超频极限下炸不炸缸的,是藏在关键气门上的四枚微型安全组件:

  • Logit Soft-Capping 是柔和的“弹性限速缓冲垫”,数值太大时平滑按住不让冲破天花板;
  • Z-Loss 是给 Softmax 装上的“零点归位弹簧”,防止整体数值毫无意义地越飘越高把浮点精度耗光;
  • QK-Norm 是入口限幅器,防止点积一开始就爆音;
  • Gated Attention 则是给每个注意力头装上一道独立的“静音开关”——当这个头当前没话要说时,直接拉闸闭嘴,再也不用被迫把多余权重全倒给第一个词元(Attention Sink)制造数万倍的巨型尖峰!

起源背景与演进脉络 ​

四类微构件分别诞生于不同规模瓶颈的实战排雷:

  1. Z-Loss(PaLM & ST-MoE, 2022):Google 在训练 540B PaLM 与 269B 稀疏 MoE 模型 ST-MoE 时发现,即便 Loss 看似正常,词表分类头和 MoE 路由器的 Logits 仍会悄悄整体漂移到上百甚至上千,一旦遇到 BF16 舍入误差立刻触发雪崩式 Loss Spike,由此提出了极简的 Output Z-Loss 与 Router Z-Loss;
  2. Attention Sink 与 Massive Activation 的揭示(2023–2024):Xiao 等人(StreamingLLM)发现所有自回归 LLM 都会把高达 30%∼60% 的注意力权重倾倒在毫无语义的首词元(如 `<bos>`)上;Sun 等人(2024)进一步揭示这伴随了残差流中比均值大 104 倍的固定通道 Massive Activation,成为大模型流式外推崩溃与 低比特量化 掉点的元凶;
  3. Logit Soft-Capping(Gemma 2 / Grok, 2024):为了在不使用或配合 QK-Norm 的情况下从数学上封死注意力分数与最终词表 Logits 的上界,Google 在 Gemma 2 中全面部署了基于 tanh 的平滑软截断;
  4. Gated Attention 釜底抽薪(Qiu et al., 2025):阿里通义千问团队系统评测了 30 余种门控位置与数万亿词元训练动力学,发现仅在 SDPA 输出之后加一个轻量级输入依赖 Sigmoid 门控,就能在提升语言建模困惑度的同时,从根源上彻底消除 Attention Sink 与 Massive Activation,将大模型稳训与长上下文外推推向新高度。

核心原理与数学推导 ​

1. Logit Soft-Capping(平滑双曲正切软截断) ​

在大模型中,无论是注意力打分矩阵 S=QK⊤/dh,还是末层词表预测 Logits z=hWlm,一旦出现个别极端大值(如 z>88),在半精度下 exp(z) 便会溢出或令 Softmax 梯度彻底消失。Logit Soft-Capping 对原始 Logits 施加有界光滑映射:

softcap(z;c)=c⋅tanh(zc)

其中 c>0 为预设上限阈值(如 Gemma 2 中注意力分数取 cattn=50.0,最终 lm_head 输出取 cfinal=30.0)。考察其一阶导数:

ddz[c⋅tanh(zc)]=1−tanh2(zc)=sech2(zc)
  • 当 |z|≪c(正常分布区间)时,softcap(z;c)≈z 且导数接近 1,几乎无损保留原始表征与梯度;
  • 当 |z|≫c(异常尖峰区间)时,输出被严格锁死在 (−c,c) 内,且梯度平滑衰减至 0,既防止极端样本把参数拉飞,又避免了硬截断 torch.clamp 在边界处的不可导突变。

2. Output Z-Loss 与 Router Z-Loss(锚定配分函数防漂移) ​

考察标准交叉熵损失:

LCE(z,y)=−zy+log⁡Z,其中配分函数 Z=∑j=1Vexp⁡(zj)

由于 Softmax 严格满足平移不变性(对所有类别同时加上任意常数 δ,概率 softmax(z+δ)=softmax(z) 与交叉熵值完全不变),优化器对 Logits 的整体均值漂移“视而不见”。在长达数十万步的 BF16/FP8 训练中,受随机数值舍入不对称性累积影响,log⁡Z 常会缓慢漂移至极大的正值或负值,导致指数运算有效尾数精度暴跌乃至溢出。

Z-Loss(PaLM / ST-MoE / OLMo 2)向主损失叠加一项极简的平方正则:

Lz-loss=λz⋅1BN∑b=1B∑t=1N(log⁡∑jexp⁡(zb,t,j))2
  • Output Z-Loss:作用于 lm_head 词表 Logits,典型权重 λz=10−4,将 log⁡Z 柔和锚定在 0 附近(即 Z≈1),使交叉熵与负对数似然保持良好条件数;
  • Router Z-Loss:作用于 MoE 每层的门控路由器 Logits zrouter∈RE,典型权重 λr=10−3∼10−2。由于路由器通常处于计算图深处且伴随 Top-k 离散跳转,Router Z-Loss 是防止稀疏专家训练出现 Loss Spike 的核心保命符。

3. Attention Sink 与 Massive Activation 的物理根源 ​

为何几乎所有传统自回归 Transformer 都会把近一半注意力浪费在首词元 `<bos>` 上?根源在于 Softmax 的严格概率单形约束(∑j=1tαt,j=1,αt,j≥0):

  • 在许多层与注意力头中,当前词元并不需要从历史上下文中抽取新信息——理想情况下该注意力头应输出接近零向量(“无操作 / No-op”);
  • 但由于 Softmax 不允许所有权重同时为 0,模型被迫寻找一个所有后续位置都永远看得见的“垃圾桶”(即位置 0 的 `<bos>`),把多余的概率质量全部倾倒给它,并令其 Value 向量接近零;
  • 为了让首词元的 Key 在任意 Query 下都能稳稳赢过其他词元,模型在训练中自发在极少数固定通道里演化出了幅值高达 103∼104 的 Massive Activation。这些巨型尖峰不仅在滑窗推理丢弃首词元时引发困惑度崩盘(需靠 StreamingLLM 强留首词元续命),更把整个张量的动态范围撑爆,严重破坏低比特量化精度。

4. Gated Attention(SDPA 输出门控)与 QK-Norm 协同 ​

Qiu 等人(2025)提出了一种极其简洁却具备颠覆性效果的架构微调——Gated Attention:在缩放点积注意力(SDPA)输出之后、线性投影 WO 之前(论文验证为最优的 G1 位置),施加一个输入依赖的逐头(或逐元素)乘性 Sigmoid 门控:

Y=SDPA(Q,K,V),Ygated=Y⊙σ(XWθ),O=YgatedWO

其中 X 为进入注意力层的归一化隐藏状态,σ(⋅) 为 Sigmoid 函数。这一极轻量的改造同时带来三重数学红利:

  1. 赋予注意力“原生关闸(No-op)”能力,根治 Attention Sink:当某个注意力头当前无需输出信息时,只需令门控分数 σ(XWθ)→0 即可直接把输出置零,再也无需借道首词元倾倒多余概率!实验显示,引入 G1 门控后,首词元注意力占比从 40%+ 暴跌至不足 5%,激活峰值从数千骤降至个位数,Massive Activation 几乎彻底消失;
  2. 打破低秩双线性瓶颈:原始注意力中每个词元输出可写成 ∑jαij(xjWVWO),本质上 WVWO 是连续线性映射;在二者之间插入输入依赖非线性门控 σ(XWθ) 显著增强了多头表达能力;
  3. 与 QK-Norm 前后夹击:QK-Norm 在 SDPA 上游锁死 QK⊤ 点积上界(防注意力分数爆炸),Gated Attention 在 SDPA 下游消除巨型异常激活并抑制 Loss Spike、大幅提升长上下文外推与超大学习率耐受度,形成现代大模型稳训的完美闭环。

数值防线全景挂载图 ​

图表加载中...

数值稳定性微构件横向对比表 ​

稳训微构件挂载位置解决的核心数值病灶额外参数 / 算力开销附带系统红利代表模型
QK-NormQ,K 投影后、RoPE 前注意力点积爆炸与熵坍塌极小(仅 2dh 缩放参数)支持更大峰值学习率ViT-22B, Qwen3, Gemma 2, OLMo 2
Logit Soft-CappingAttention Score / lm_head极端 Logits 致指数上溢零参数(逐元素 tanh)平滑限幅无梯度断崖Gemma 2, Grok-1
Output / Router Z-Loss末层交叉熵 / MoE 路由器Softmax log⁡Z 无约束漂移零参数(标量辅助 Loss)稳住稀疏 MoE 与 BF16 训练PaLM, ST-MoE, OLMo 2
Gated Attention (G1)SDPA 输出后、WO 前Attention Sink 与 Massive Activation轻量(约 1∼3% 参数)降 PPL、强长外推、极度友好量化Qwen 团队 (2025), Qwen3-Next

核心 PyTorch 参考实现 ​

以下代码完整实现集成 QK-Norm、Attention Logit Soft-Capping 与 G1 位置 Gated Attention 的高稳定性注意力层,以及 Output / Router Z-Loss 正则损失函数:

python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F


def logit_softcap(logits: torch.Tensor, cap: float | None) -> torch.Tensor:
    """Gemma-2 风格双曲正切软截断:c * tanh(z / c)"""
    return cap * torch.tanh(logits / cap) if (cap and cap > 0) else logits


def compute_z_loss(logits: torch.Tensor, coeff: float = 1e-4) -> torch.Tensor:
    """Output / Router Z-Loss(FP32 精度防 logsumexp 下溢)"""
    return coeff * torch.logsumexp(logits.float(), dim=-1).pow(2).mean()


class RMSNorm(nn.Module):
    def __init__(self, dim: int, eps: float = 1e-6):
        super().__init__()
        self.eps, self.weight = eps, nn.Parameter(torch.ones(dim))

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        x_f = x.float()
        return (x_f * torch.rsqrt(x_f.pow(2).mean(dim=-1, keepdim=True) + self.eps)).to(x.dtype) * self.weight


class StableGatedAttention(nn.Module):
    """集成 QK-Norm + Attention Soft-Capping + G1 Gated Attention 的稳训注意力块"""
    def __init__(self, d_model: int, n_heads: int, attn_cap: float = 50.0, headwise_gate: bool = False):
        super().__init__()
        self.n_heads, self.head_dim, self.attn_cap = n_heads, d_model // n_heads, attn_cap
        self.headwise_gate = headwise_gate
        self.w_q = nn.Linear(d_model, d_model, bias=False)
        self.w_k = nn.Linear(d_model, d_model, bias=False)
        self.w_v = nn.Linear(d_model, d_model, bias=False)
        self.w_o = nn.Linear(d_model, d_model, bias=False)
        self.q_norm, self.k_norm = RMSNorm(self.head_dim), RMSNorm(self.head_dim)
        # 防线 3: G1 位置 SDPA 输出门控(elementwise 维 d_model 或 headwise 维 n_heads)
        self.w_gate = nn.Linear(d_model, n_heads if headwise_gate else d_model, bias=False)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        B, N, D = x.shape
        q = self.q_norm(self.w_q(x).view(B, N, self.n_heads, self.head_dim)).transpose(1, 2)
        k = self.k_norm(self.w_k(x).view(B, N, self.n_heads, self.head_dim)).transpose(1, 2)
        v = self.w_v(x).view(B, N, self.n_heads, self.head_dim).transpose(1, 2)

        scores = logit_softcap(torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(self.head_dim), self.attn_cap)
        mask = torch.triu(torch.ones(N, N, device=x.device, dtype=torch.bool), diagonal=1)
        probs = F.softmax(scores.masked_fill(mask, float("-inf")), dim=-1, dtype=torch.float32).to(x.dtype)
        y = torch.matmul(probs, v).transpose(1, 2)  # [B, N, H, d_h]

        gate = torch.sigmoid(self.w_gate(x))
        y = (y * gate.unsqueeze(-1)) if self.headwise_gate else (y.reshape(B, N, D) * gate)
        return self.w_o(y.reshape(B, N, D))

工程实践与常见陷阱 ​

工程实践

  1. FlashAttention 对 Soft-Capping 的硬件兼容:如果使用原生 PyTorch 手写 tanh(QK^T / c) 会退化为 O(N2) 显存占用并失去加速;务必调用 FlashAttention-2(v2.6+)或 FlashAttention-3 内置的 softcap 参数,直接在片上 SRAM 融合执行 tanh 截断。同时,若模型已经同时启用了 QK-Norm 与 Gated Attention,往往可省去 Attention 内部的 Soft-Capping 以换取更高 Kernel 吞吐。
  2. Gated Attention 门控粒度的性价比选择:Qiu 等人(2025)消融表明,逐元素门控(Elementwise, XWθ∈Rd) 效果最强,但即便压缩为逐头标量门控(Headwise, 仅增 H×d 极少参数),也足以带来大部分困惑度收益并基本消除 Attention Sink,且 w_gate 可直接与 w_q 合并进同一次 GEMM 投影中几乎不增推理延迟。
  3. Z-Loss 权重系数须克制且与主 Loss 同阶检查:Output Z-Loss 系数通常控制在 1e-4 左右(OLMo 2、PaLM 经验值),MoE Router Z-Loss 控制在 1e-3 左右;切忌设得过大(如 1e-1),否则会过度压制置信度高的正确类别 Logits,拖慢交叉熵收敛。

常见陷阱

  1. 把 Gated Attention 误放在 Value 分支或 WO 之后:消融实验明确指出,只有放在 SDPA 输出之后、WO 之前(G1 位置) 且必须是输入依赖(查询 X 决定) 的稀疏门控才能有效根除 Attention Sink;若把门控放在 V 上(对所有查询共享同一键的开关)或放在 WO 之后,消除 Sink 与抑制 Massive Activation 的效果会大打折扣。
  2. 在 FP16/BF16 下直接求 logsumexp 计算 Z-Loss:计算 Output Z-Loss 时词表大小 V 高达 128K∼256K,在半精度下对十几万项累加指数极易失真或上溢,务必像示例代码中一样先 .float() 提升至 FP32 再调用 torch.logsumexp。
  3. 混淆 Attention Sink 消除与显式 Sink Token 的适用场景:对于已训好且未带 Gated Attention 的存量模型(如 LLaMA-2/3),流式推理仍必须使用 StreamingLLM 策略保留前 4 个首词元 KV;而对于从零预训练的新模型,直接内置 Gated Attention 才是治本之策,不仅解放流式滑窗,更让后续 W4A4/FP4 低比特部署轻装上阵。

延伸阅读与参考论文 ​

  • Output Z-Loss 提出:Chowdhery et al., PaLM: Scaling Language Modeling with Pathways, JMLR 2023 (arXiv:2204.02311 ↗).
  • Router Z-Loss 与稀疏 MoE 稳训:Zoph et al., ST-MoE: Designing Stable and Transferable Sparse Expert Models, 2022 (arXiv:2202.08906 ↗).
  • Attention Sink 发现与流式推理:Xiao et al., Efficient Streaming Language Models with Attention Sinks (StreamingLLM), ICLR 2024 (arXiv:2309.17453 ↗).
  • 巨型异常激活机理解析:Sun et al., Massive Activations in Large Language Models, COLM 2024 (arXiv:2402.17762 ↗).
  • Logit Soft-Capping 大规模验证:Gemma Team, Gemma 2: Improving Open Language Models at a Practical Size, 2024 (arXiv:2408.00118 ↗).
  • Gated Attention 根治 Attention Sink:Qiu et al., Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free, 2025 (arXiv:2505.06708 ↗).