Skip to content

残差连接演进:残差流、DeepNorm 与 Hyper-Connections

从恒等映射与残差流出发,推导 DeepNorm 千层稳定理论与 Hyper-Connections/mHC。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是残差连接(Residual Connection)与残差流?

残差连接 写法极简——仅仅是把某一层的输入直接加回它的输出上:y=x+F(x),但它却是深度学习能堆到上百层而不崩塌的救命稻草。

你可以把整条 x 想象成贯穿模型从第 1 层到第 80 层的 “信息高速公路(残差流)”:每一层的注意力和前馈网络不再推翻重算全部信息,而是从高速路上读一点内容、算出一份增量修改再写回高速路;反向传播时,梯度也能沿着这条直通车道无损传回最底层。

01 问题从何而来:为什么网络一加深,反而越训越差? ​

直觉上,50 层的神经网络哪怕把后面 30 层全部练成“什么也不干、原样传过去”,效果也至少该和 20 层打平才对。可 2015 年 ResNet(He et al., 2016)↗ 做实验时却撞见了怪事:不加跳跃连接时,56 层网络的训练误差竟然比 20 层还高!这叫退化问题(Degradation Problem)——深层非线性网络连最简单的“原样照搬(恒等映射)”都极难通过梯度下降学出来。

加上一条极其朴素的旁路相加 xl+1=xl+F(xl) 后,奇迹发生了:网络想原样保留信息,只需把分支 F(xl) 压向零即可,反向梯度也能沿着 xl 畅通无阻地直达底层。

然而,当 Transformer 迈向几十层、上百层甚至上千层时,残差连接撞上了一个棘手的 “跷跷板困境”:

  • 用 Post-Norm 残差:每层都在强力重塑表征、表达能力强,但超过二三十层就梯度失衡、极难收敛;
  • 用 Pre-Norm 残差:堆到上百层都极其好训,可主干信号的方差一路线性膨胀,走到深层时,主干太粗壮,每一层新算出来的增量相比之下微乎其微,出现深层表征坍塌(Representation Collapse)——很多深层白白烧算力却几乎没改变特征方向。
类比 · 单车道高架桥的“拥堵困局”

把标准残差连接想象成一条贯通整栋 100 层大楼的单车道中央主干道(残差流)。每一层的 注意力 和 FFN 都是路边的小作坊:先从主干道抄一份资料下来加工,再把新成果汇回主干道。

开到第 80 层时,这条单车道里已经密密麻麻塞满了前面 79 层倒进来的海量历史信息(方差膨胀),新加入的第 80 层作坊哪怕拼尽全力,喊出来的声音也被喧嚣的车流彻底淹没了。

核心设问

能不能打破“稳定训练”与“深层强表达”之间的跷跷板?从把 Post-Norm 稳定推向 1000 层的 DeepNorm,到把单车道拓宽成多条立体车道的 Hyper-Connections(HC / mHC),研究者究竟动了什么手术?

02 核心直觉:从“公共黑板”到“多车道立体高架” ​

理解残差连接的现代演进,有三个层层递进的画面:

类比 · 画面一:残差流是一块所有层共用的“公共白板”

机制可解释性研究(Transformer Circuits, 2021 ↗)提出了一个改变认知的视角:不要把 Transformer 看成“第 1 层把结果交给第 2 层”,而要把它看成“所有层围着同一块公共白板(Residual Stream)交替读写”!

词嵌入先在白板写下初稿;第 2 层某个注意力头读完后,在白板右上角写下一条句法笔记;中间 10 层根本不碰右上角,直到第 13 层某个头直接从右上角把那条笔记读走!高维空间里不同子空间近似正交,这块白板就是整座大模型跨层通信的中央内存总线。

类比 · 画面二:DeepNorm——给千层大楼的主梁“加粗”,把挂件“减重”

微软提出的 DeepNet / DeepNorm(Wang et al., 2022)↗ 想把表达力极强的 Post-Norm 救活,而且直接推到 1000 层。思路非常工程力学:

Post-Norm 崩塌是因为深层单步更新幅度太大,把主干吹歪了。DeepNorm 只改两行代码:第一,残差相加前把主干 xl 放大 α>1 倍(加粗承重柱,让主干稳如泰山);第二,初始化时把残差分支内部权重按 β<1 缩小(给每层挂件减重,起步别乱晃)。凭借精确推导出的闭式公式,Post-Norm 居然真的稳稳训通了 1000 层!

类比 · 画面三:Hyper-Connections(HC)与 mHC——把单车道升级成“守恒的多车道立体高架”

字节跳动的 Hyper-Connections(Zhu et al., 2024)↗ 换了更彻底的玩法:既然单条宽度为 d 的残差流太拥挤,那就把它拓宽成 n 条并行车道(通常 n=4)!

每过一层,系统先按权重把 4 条车道的车流挑出精华汇聚成 1 路,送进常规的注意力或 FFN 加工(因此子层核心计算量 FLOPs 一点都没增加!),同时 4 条车道之间通过一个 n×n 的混流矩阵 Ar 自由变道交换信息,最后把加工结果按不同权重写回 4 条车道——比如 1 号车道专存低噪长期记忆,2 号车道专跑高频特征加工。

可后来 DeepSeek mHC(2025)↗ 在超大规模训练中发现了无约束 HC 的隐患:几十层的混流矩阵 Ar 连乘起来,只要特征值稍微大于 1 就会指数级爆炸!于是 mHC(流形约束超连接) 给每层的混流矩阵 Ar 戴上了数学紧箍咒——用 Sinkhorn-Knopp 算法强行把它投影成双随机矩阵(每行每列非负且和都严格等于 1)。就像四条车道之间只允许“守恒换道”,总车流量绝不会凭空放大或缩水,彻底根治了连乘爆炸!

03 把关键公式读成人话 ​

先看 DeepNorm 支撑千层训练的两行极简公式(对 N 层 Decoder-Only):

xl+1=LayerNorm(αxl+Fl(xl)),α=(2N)1/4,β=(8N)−1/4

**把公式读成直觉:**层数 N 越深,α 越大(主干权重越重),而初始化缩放因子 β 越小(分支起步越轻)。二者配合恰好把每一步梯度更新引起的整网输出抖动锁死在常数级别 Θ(1),不管堆 100 层还是 1000 层,训练初期的稳健度完全一致。

再看 Hyper-Connections / mHC 的多流递推方程:

Hl+1=Ar(l)Hl+αl⋅Fl(Norm(βlHl))

拆解三个微型控制阀,为什么算力几乎没涨?:- Hl∈Rn×d:把原来的 1 条 d 维残差流变成了 n 条并行流(通常 n=4);

  • βlHl(读取汇聚):把 n 条流加权融合成 1 条 d 维向量再送进子层 Fl,所以最耗算力的注意力和 FFN 依然只算 1 份,总 FLOPs 增加不到 1%;
  • Ar(l)Hl(流间变道):在 n 条车道之间重新混流分配;在 mHC 中,强制要求 Ar(l) 是双随机矩阵(谱范数 ≤1 且连乘封闭),保证跨过一百层后信号均值严格守恒、梯度永不失控;
  • αl⋅Fl(…)(写入分发):把子层算出的新知识按需分配写回各条车道。

04 它在模型里怎么工作 & 与上下游的关系 ​

残差连接是整座 Transformer 的骨架,牵动训练稳定与系统通信:

  • 与 归一化机制 生死相依:Pre-Norm、Post-Norm、Sandwich-Norm 与 DeepNorm 的本质,都是围绕“如何平衡残差主干与子层增量的相对尺度”展开的博弈。
  • 与 反向传播 及 优化器 协同:即便用标准 Pre-Norm,GPT-2 与 LLaMA 也会把残差分支末端投影矩阵(WO 和 Wdown)的初始化标准差按 1/2L 缩小,保证第 0 步时整条残差流总方差恒定,不随层数暴涨。
  • 对 显存优化 与分布式系统的冲击:mHC 虽然几乎不增加浮点运算量,但把残差张量拓宽了 n=4 倍,意味着显存读写量和流水线阶段间的通信量都放大了 4×——因此工业落地必须依赖定制融合 CUDA/Triton Kernel 与计算通信重叠。

05 演化对比:五代残差拓扑的权衡 ​

把残差连接十年来的演进排在一起,能清楚看到一条主线:既要守住恒等映射带来的百层梯度直通,又要打破单条主干拥挤导致的深层表征坍塌:

残差架构残差流宽度额外 FLOPs深层训练稳定性抗表征坍塌代表模型
Post-Norm 残差1×d0差(>30 层易崩)强原始 Transformer, BERT
Pre-Norm 残差1×d0极强弱(方差线性涨)GPT-2/3, LLaMA, Qwen
DeepNorm1×d可忽略极强(千层验证)强DeepNet, ChatGLM-6B
Dynamic HCn×d<1%中(超大规模易发散)极强Hyper-Connections
mHC(双随机流形)n×d<1%(需融合 IO)极强(谱范数 ≤1)极强DeepSeek mHC

06 三个最容易踩的工程坑 ​

  1. DeepNorm 初始化缩放别误伤 WQ,WK:DeepNorm 的 β 缩小系数只应该施加在残差分支里的 WV,WO 和 FFN 权重上;如果手滑把 WQ,WK 也乘了极小的 β,注意力打分一开始全退化成均匀平均,反而破坏早期梯度学习。
  2. 百亿级大模型切勿直接裸跑无约束 HC:不加流形约束的混流矩阵 Ar 在小模型上看似很稳,但一旦拉到百亿规模和万亿词元长训,连乘特征值漂移极易在中后期引发不可逆的梯度爆炸,必须引入 mHC 的 Sinkhorn 双随机约束。
  3. 多流架构首尾对齐别忘记:进第 1 层前,要把单流 Token Embedding 复制成 n 份构造多流状态;出最后一层进入 final_norm 和 LM Head 之前,必须沿流维度求和或取均值归约回单流。

想查看 DeepNorm 闭式常数的严格推导、双随机流形 Birkhoff 多面体数学性质以及含 Sinkhorn-Knopp 迭代的 ManifoldHyperConnection 代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

残差连接(Residual Connections / Skip Connections) 是深度神经网络得以突破数十层迈向百层、千层规模的生命线。在 Transformer 中,残差连接不仅是一项防止 反向传播 梯度消失的工程技巧,更被机制可解释性学界视作贯穿整座模型的中央通信总线——残差流(Residual Stream)。近年,为克服传统单通道 Pre-Norm 残差存在的“深层表征坍塌”局限,研究者先后提出了支持千层稳定训练的 DeepNorm,以及打破单维加性瓶颈的 Hyper-Connections(HC) 与流形约束超连接 mHC(同时需配合 显存优化与算子融合 消化多流带宽开销)。

直观理解

可以把 Transformer 的残差连接想象成一条贯通整栋大楼的 “多车道中央高速主干道(残差流)”:每一层的注意力头和前馈网络就像路边的一个个工作站,它们先从主干道复制(读取)当前车流信息,加工出新的语义增量后再合并(写入)回主干道。传统残差只有一条单车道,越往高层走主干道越拥挤,新工作站的话语权越来越小;而 Hyper-Connections 则把单车道拓宽成多条可动态变道、按权重汇流的立体并行车道,让深浅层信息能够自由分流与重组。

问题动机与演进背景 ​

2015 年 He 等人提出 ResNet 时,首次揭示了深层网络的核心障碍并非过拟合,而是退化问题(Degradation Problem):堆叠更多无跳跃连接的非线性层时,优化器甚至难以学会最简单的恒等映射 H(x)=x,导致训练误差反升。引入残差恒等映射 xl+1=xl+F(xl) 后,网络只需将残差分支 F(xl) 学向零即可轻松表达恒等变换,同时反向传播梯度中天然出现恒等项 I,梯度得以直通浅层。

然而,当这一范式扩展到百层以上的大语言模型时,暴露出著名的跷跷板困境(Seesaw Dilemma):

  • Post-Norm 残差(xl+1=LN(xl+F(xl))):每层都在强制重塑主干表征,表达潜力高,但超过 20~30 层后梯度消失与更新量爆炸并行,极难收敛;
  • Pre-Norm 残差(xl+1=xl+F(LN(xl))):千层都能稳定训练,但残差流方差随层数线性膨胀 Var(xl)∝l,导致深层相邻隐状态余弦相似度趋近于 1(表征坍塌 Representation Collapse),许多深层模块沦为无效微扰。

为了同时打破“梯度不稳定”与“表征坍塌”的双重魔咒,学界衍生出三大里程碑视角与架构革新:残差流线性分解视角、DeepNorm 千层缩放理论以及 Hyper-Connections(HC / mHC)。

核心原理与数学推导 ​

1. Transformer 残差流(Residual Stream)可解释性视角 ​

Elhage 等人(2021)指出,标准 Pre-Norm Transformer 展开后的最终输出是词嵌入与所有历史层注意力、FFN 增量的纯线性叠加:

xL=x0+∑l=0L−1Attn(l)(Norm(xl))+∑l=0L−1FFN(l)(Norm(hl))

这一形式赋予了残差流极其深刻的代数含义:

  • 通信带宽视角:残差流是一个维度为 d 的共享高维向量空间,所有层的所有注意力头和 FFN 共享这一“公共内存”;不同层之间通过近乎正交的子空间实现跨层通信(例如第 2 层写入的句法特征可直接跳过中间 10 层,被第 13 层的注意力头直接读取)。
  • 虚拟集成视角:包含 L 个子层的残差网络展开后等价于 2L 条不同深度路径的指数级集成,梯度主要流经较短与中等长度的有效路径。

2. DeepNorm:把 Post-Norm 稳定扩展到 1000 层 ​

Wang 等人(DeepNet, Microsoft, 2022)通过定量分析单步 SGD 更新引起的模型输出变化量 ΔF=∥F(x;θ+Δθ)−F(x;θ)∥,发现 Post-Norm 崩溃的根本原因是深层更新幅度被逐层放大。

DeepNorm 对 Post-Norm 仅做两处极简数学修正:

  1. 残差主干上缩放 α>1(增强恒等分支权重,抑制主干剧烈漂移):xl+1=LayerNorm(αxl+Fl(xl))
  2. 初始化参数按 β<1 缩小(仅缩小注意力 WV,WO 与 FFN 权重初始化标准差):Winit←β⋅WXavier

通过推导使总更新量 ΔF=Θ(1)(与总层数无关的常数级边界),DeepNet 给出了精确闭式超参公式(以 N 层 Decoder-Only 为例,总子层数 2N):

α=(2N)1/4,β=(8N)−1/4

(对于包含 N 层编码器与 M 层解码器的 Encoder-Decoder,编码器取 αe=(2N)1/4,βe=(8N)−1/4;解码器取 αd=(3M)1/4,βd=(12M)−1/4。)

凭此两行公式,DeepNet 首次成功将纯 Post-Norm Transformer 稳定扩展至 1000 层,且兼具 Post-Norm 强表达力与 Pre-Norm 高稳定性(被 ChatGLM-6B 等经典中文模型直接采用)。

3. Hyper-Connections(HC)与流形约束超连接(mHC) ​

2024 年字节跳动提出 Hyper-Connections(HC),跳出了标量残差缩放的框架:既然单条宽度为 d 的残差流容易引发信息拥挤与表征坍塌,何不将残差流扩展为 n 条并行隐状态流(扩展倍率通常取 n=4),把隐藏状态由向量 h∈Rd 拓宽为矩阵 H∈Rn×d?

在每一层,HC 引入三组轻量级可学习(并可结合输入动态调制)连接权重:

  • 宽度混流矩阵(Width Connection) Ar∈Rn×n:在 n 条并行残差流之间执行线性混合与信息交换;
  • 读取汇聚向量(Read-in) βl∈R1×n:将 n 条流加权汇聚为单路 d 维向量送入当前层子模块 Fl(因此子层计算量 FLOPs 完全不变!);
  • 写入分发向量(Write-out) αl∈Rn×1:将子层输出 Fl(⋅) 按不同权重写回 n 条残差流。

HC 单层递推方程为:

Hl+1=Ar(l)Hl+αl⋅Fl(Norm(βlHl))

当初始化为 Ar=In、βl=elmodn⊤、αl=1n 时,HC 退化为标准 Pre-Norm 残差;随着训练进行,网络可自动学会让某些通道充当“长程低噪记忆通道”,另一些通道充当“高频特征加工通道”,甚至动态模拟类并行块(Parallel Layers)与跨层直连拓扑。

流形约束超连接(mHC, Manifold-Constrained Hyper-Connections, DeepSeek, 2025): 尽管无约束 HC 在中小规模表现惊艳,但在超大规模深层训练中,连乘无约束混流矩阵 ∏l=1LAr(l) 会丧失残差连接的恒等映射守恒性质——其谱半径可能指数发散或坍缩,导致严重信号爆炸与梯度不稳定。

mHC 提出将每层的混流矩阵 Ar(l) 严格投影到 Birkhoff 多面体(双随机矩阵流形 Doubly Stochastic Matrix Manifold) 上,即要求满足所有元素非负且每行每列之和均为 1:

MDS={M∈R≥0n×n|M1n=1n,1n⊤M=1n⊤}

在实现中,通过 Sinkhorn-Knopp 算法对 exp⁡(A~r) 进行数次交替行、列归一化即可高效投影到 MDS(同时要求 αl,βl 非负)。双随机流形具备三大黄金数学性质:

  1. 乘法封闭性:任意多层双随机矩阵连乘 ∏lAr(l) 依然是双随机矩阵;
  2. 谱范数严格有界:∥Ar∥2≤1,从数学上彻底杜绝连乘引发的信号与梯度爆炸;
  3. 均值严格守恒:多条并行流的整体特征质心在前向与反向传播中保持守恒,既恢复了恒等映射稳定性,又保留了多流信息路由的超强表达增益。

算法架构与数据流图 ​

图表加载中...

复杂度与横向对比表 ​

设层数为 L、隐维度为 d、多流扩展率为 n(典型 n=4):

残差架构残差流宽度额外 FLOPs 开销深层稳定性抗表征坍塌能力代表模型 / 论文
Post-Norm 残差1×d0差(>30 层易崩溃)强原始 Transformer, BERT
Pre-Norm 残差1×d0极强弱(方差线性增长)GPT-2/3, LLaMA, Qwen
DeepNorm1×d可忽略(常数乘 α)极强(验证达 1000 层)强DeepNet, ChatGLM-6B
Dynamic HCn×d极低(<1%)中等(超大规模连乘易发散)极强Hyper-Connections (ByteDance)
mHC(双随机流形)n×d极低(需融合算子降显存 IO)极强(谱范数 ≤1 守恒)极强DeepSeek mHC (2025)

核心 PyTorch 参考实现 ​

下面完整实现 DeepNorm 缩放工具 与 流形约束超连接(mHC,含 Sinkhorn-Knopp 双随机投影) 模块:

python
import torch
import torch.nn as nn
import torch.nn.functional as F


def sinkhorn_knopp(logits: torch.Tensor, n_iters: int = 10, eps: float = 1e-8) -> torch.Tensor:
    """将任意实数矩阵通过 Sinkhorn-Knopp 迭代投影至双随机矩阵流形 (每行每列和为 1)"""
    # 先减去每行最大值以防 exp 溢出
    m = torch.exp(logits - logits.amax(dim=-1, keepdim=True))
    for _ in range(n_iters):
        m = m / (m.sum(dim=-1, keepdim=True) + eps)  # 行归一化
        m = m / (m.sum(dim=-2, keepdim=True) + eps)  # 列归一化
    return m


class DeepNormResidual(nn.Module):
    """DeepNet 千层稳定 Post-Norm 残差封装(以 N 层 Decoder-Only 为例)"""
    def __init__(self, d_model: int, num_layers: int):
        super().__init__()
        self.alpha = (2.0 * num_layers) ** 0.25
        self.beta = (8.0 * num_layers) ** -0.25
        self.norm = nn.LayerNorm(d_model)

    def scale_sublayer_init(self, linear_modules: list[nn.Linear]):
        """按 DeepNorm 理论缩小指定投影层(W_V, W_O, FFN)初始化标准差"""
        with torch.no_grad():
            for mod in linear_modules:
                mod.weight.mul_(self.beta)

    def forward(self, x: torch.Tensor, sublayer_out: torch.Tensor) -> torch.Tensor:
        return self.norm(self.alpha * x + sublayer_out)


class ManifoldHyperConnection(nn.Module):
    """流形约束超连接 (mHC): 维持 n 条并行残差流并约束流间混流矩阵为双随机矩阵"""
    def __init__(self, d_model: int, n_streams: int = 4, sinkhorn_iters: int = 10):
        super().__init__()
        self.n_streams = n_streams
        self.sinkhorn_iters = sinkhorn_iters

        # 静态初始化:对角占优近似恒等矩阵,确保训练起点等价于标准残差
        init_res = torch.full((n_streams, n_streams), -4.0)
        init_res.fill_diagonal_(0.0)
        self.res_logits = nn.Parameter(init_res)

        # 读取权重 (beta) 与 写入权重 (alpha),配合动态输入调制
        self.read_proj = nn.Linear(d_model, 1, bias=False)
        self.write_proj = nn.Linear(d_model, 1, bias=False)
        self.static_read = nn.Parameter(torch.zeros(n_streams))
        self.static_write = nn.Parameter(torch.zeros(n_streams))
        self.alpha_scale = nn.Parameter(torch.tensor(0.01))

    def forward(self, h_streams: torch.Tensor, sublayer_fn: nn.Module) -> torch.Tensor:
        # h_streams: [B, N, n_streams, d_model]
        # 1. 双随机流形投影 A_r: [n_streams, n_streams]
        a_res = sinkhorn_knopp(self.res_logits, n_iters=self.sinkhorn_iters)

        # 2. 动态+静态非负读取权重 beta: [B, N, n_streams, 1]
        read_dyn = self.alpha_scale * self.read_proj(h_streams)  # [B, N, n, 1]
        beta = F.softmax(read_dyn + self.static_read.view(1, 1, -1, 1), dim=2)

        # 3. 汇聚多流送入单路子层(计算量与原单流完全相同)
        sub_in = (h_streams * beta).sum(dim=2)  # [B, N, d_model]
        sub_out = sublayer_fn(sub_in)           # [B, N, d_model]

        # 4. 非负写入权重 alpha: [B, N, n_streams, 1]
        write_dyn = self.alpha_scale * self.write_proj(h_streams)
        alpha = 2.0 * torch.sigmoid(write_dyn + self.static_write.view(1, 1, -1, 1))

        # 5. 双随机流间混合 + 写入子层增量
        mixed = torch.einsum("ij,bnjd->bnid", a_res, h_streams)
        return mixed + alpha * sub_out.unsqueeze(2)


if __name__ == "__main__":
    mhc = ManifoldHyperConnection(d_model=256, n_streams=4)
    dummy_ffn = nn.Sequential(nn.RMSNorm(256), nn.Linear(256, 256, bias=False))
    h = torch.randn(2, 16, 4, 256)  # 4 条并行残差流
    h_next = mhc(h, dummy_ffn)

    a_mat = sinkhorn_knopp(mhc.res_logits)
    print("mHC output shape:", h_next.shape)
    print("Row sums:", a_mat.sum(dim=-1).detach().round(decimals=3).tolist())
    print("Col sums:", a_mat.sum(dim=-2).detach().round(decimals=3).tolist())

工程实践与常见陷阱 ​

工程实践

  1. 残差分支末端投影初始化缩减(GPT-2 / LLaMA 准则):即便使用标准 Pre-Norm,工业界也习惯将每个残差分支的最后一个线性层(注意力 WO 与 FFN Wdown)初始化标准差按 σ2L 缩小(其中 L 为总层数),确保训练第 0 步时残差流总方差 Var(xL)=1+2L⋅12L=2 恒定,不随层数爆炸。
  2. mHC 的显存带宽与 Kernel 融合:将残差流扩展 n=4 倍几乎不增加 FLOPs,但残差张量的显存读写量放大了 4×。在生产级训练(如 DeepSeek mHC 基础设施)中,必须编写融合 CUDA/Triton Kernel 将读取汇聚、Sinkhorn 投影、流间混合与残差写入合并在片上 SRAM 中完成,并配合重计算避免激活显存成倍膨胀。
  3. 流水线并行(PP)下的多流通信适配:在流水线阶段边界传递 n×d 宽度的残差流会增加点对点通信量,需借助计算-通信异步重叠隐藏额外延迟。

常见陷阱

  1. DeepNorm 中误缩放所有层权重:DeepNorm 的 β 缩放仅适用于残差分支内部特定矩阵(WV,WO 与 FFN 权重);若把 WQ,WK 也乘以极小的 β,会导致初始注意力分布退化为均匀平均、破坏早期梯度信号(论文明确不对 WQ,WK 乘 β)。
  2. 在无约束 HC 中直接扩大至百亿规模:无流形约束的动态 HC 在 1B 以下小模型验证收益显著,但扩展到百亿参数与长程训练时,混流矩阵特征值偏移极易在中后期诱发不可逆的梯度尖峰(Gradient Norm Explosion),必须引入双随机约束(mHC)或严格的谱范数正则化。
  3. 残差流多流输入与输出头对齐:采用 HC/mHC 时,输入词嵌入需先复制广播为 n 份构造初始 H0∈RB×N×n×d,在最后一层进入 final_norm 与 lm_head 之前则需沿流维度求和或取均值归约回单流 [B,N,d]。

延伸阅读与参考论文 ​

  • 残差网络奠基:He et al., Deep Residual Learning for Image Recognition, CVPR 2016 (arXiv:1512.03385 ↗).
  • Transformer 残差流电路理论:Elhage et al., A Mathematical Framework for Transformer Circuits, Transformer Circuits Thread ↗, 2021.
  • 千层稳定 DeepNorm:Wang et al., DeepNet: Scaling Transformers to 1,000 Layers, IEEE TPAMI 2024 (arXiv:2203.00555 ↗, 2022).
  • 多流超连接 HC:Zhu et al., Hyper-Connections, ICLR 2025 (arXiv:2409.19606 ↗, 2024).
  • 流形约束超连接 mHC:Xie et al. (DeepSeek-AI), mHC: Manifold-Constrained Hyper-Connections, arXiv:2512.24880 ↗, 2025.