外观
概念定义 · 什么是位置编码(Positional Encoding)?
自注意力机制是并行把所有词两两配对的,它本身完全不知道词的先后顺序——在没有位置信息时,“猫追狗”和“狗追猫”在它眼里只是同一袋词。
位置编码(Positional Encoding) 就是用来给每个词贴上“顺序标签”的机制:早期直接把位置坐标加到词向量上(绝对位置编码),后来改为在注意力打分时按词距加减分(相对位置偏置 / ALiBi),最终演进到现代大模型统一采用的旋转位置编码(RoPE)。
01 问题从何而来:天生“脸盲词序”的自注意力
如果不加任何位置提示,Transformer 里的 自注意力机制 根本分不清“猫追老鼠”和“老鼠追猫”。在数学上这叫置换等变性(Permutation Equivariance)——对自注意力来说,句子不是排好队的序列,而是一袋散装的词元集合。你把输入顺序怎么打乱,输出特征只是原样跟着换了个位子,语义关系纹丝不动。
类比 · 撒在桌上的单词卡片
想象把“我 / 爱 / 写 / 代码”四张单词卡片胡乱撒在桌子上。没有位置编码的自注意力,就像一个只看卡片内容、不看摆放位置的机器人——它能看出“写”和“代码”很配,但完全不知道谁排第 1、谁排第 4,也分不清“狗咬人”和“人咬狗”。
为了给这袋散装卡片重新建立秩序,研究者花了七八年时间,围绕两个核心目标一路演进:第一,能否精准表达两个词相隔多远(相对距离);第二,训练时只读过 4K 字,推理时塞进 32K 字还能不能不崩(长度外推)?
核心设问
给词元标注“我在哪”有无数种做法:直接贴门牌号、在连线上写距离、旋转向量相位,甚至干脆什么都不加。这些路线各自付出了什么代价,又为何一步步走到了今天的混合方案?
02 核心直觉:四代位置编码的四种“找位置”办法
把过去几年的主流位置编码摊开来看,其实就像人类在黑暗大厅里辨别座位的四种生活思路:
类比 · 四种“认座位”的方法
- 绝对位置编码(贴固定门牌号):
- 正弦编码(Transformer, 2017 ↗) 像用一组快慢不同的波浪条形码,给第 1、2、3 号座位盖上独一无二的印章,直接加进 Token Embedding。
- 可学习编码(BERT / GPT-2) 干脆买一张固定长度的座位表,让模型自己背熟每个座位的向量。缺点非常致命:训练最大长度是 1024,来个第 1025 个词,表里根本查无此座,直接宕机!
- 相对位置偏置(在连线上标“隔了几排”):
- T5 Bias(Raffel et al., 2020 ↗) 不再给座位贴号,而是在算完注意力分数后,按两词距离查一张“对数分桶加减分表”加上去——近处一格一格精细区分,远处按大区间合并,可超出最大桶距就成了“模糊远方”。
- ALiBi(Press et al., 2022 ↗) 把这个想法简化到极致:连查表参数都删掉!直接按距离扣分——离我越远,我就线性扣你越多分。
- 旋转位置编码(RoPE):给每个词元配一块多指针手表,按绝对位置旋转
向量,点积时自然涌现出相对夹角,成为现代大模型主力。 - 无位置编码(NoPE,Kazemnejad et al., 2023 ↗):干脆彻底撤掉所有显式编码!研究者惊讶地发现,只要有单向因果掩码,位置信息其实早就藏在“排队视野”里了。
类比 · 为什么 NoPE 什么都不加,模型居然还能数出自己排第几?
想象一排人站成单列纵队往前走,每个人都只能回头看排在自己前面的所有人,而且队首站着一个举着红旗的领队(<bos>)。
如果每个人回头扫一眼,把前面所有人的颜色平均混合一下:排第 1 的人看到 100% 红旗,排第 2 的人看到 50% 红旗,排第 10 的人看到 10% 红旗……光凭红旗被稀释的浓度
03 把关键公式读成人话
先看最具代表性的极简外推方案 ALiBi,它在注意力 Softmax 之前只做了一次减法:
**把公式读成直觉:**括号里第一项是常规语义匹配分,第二项
绝妙之处在于不同注意力头的斜率
再回头看 2017 年经典的绝对正弦位置编码:
为什么当年偏偏选正弦和余弦?:因为三角函数满足和角公式,位置
04 它在模型里怎么工作 & 与上下游的关系
不同位置编码在 Transformer 里的“插槽位置”完全不同,直接决定了工程兼容性:
- 输入端相加(Sinusoidal / Learned):只在最底部的 Token Embedding 处加一次,往后每层靠网络自己记住位置,越深越容易稀释。
- 注意力打分加偏置(T5 Bias / ALiBi):在每一层算完
之后加上去。虽然省了输入干扰,但显式加二维偏置表会给 FlashAttention 添麻烦(好在 ALiBi 斜率简单,FlashAttention-2 已能在片上 SRAM 实时算出来)。 - 乘性旋转与前沿混合(RoPE + NoPE):在百万级 长上下文建模 中,纯 ALiBi 对超远距离扣分太狠导致“大海捞针”召回弱,而纯 RoPE 超长外推需要调参。因此最新架构(如 Llama-4 的 iRoPE)开始采用 局部滑窗 RoPE + 全局全注意力 NoPE 交替混排,兼得近处精准定位与超远距离无损直连。
05 演化对比:不同位置方案的代际取舍
把六大主流位置编码放在同一张桌面横向比对,演进逻辑非常清晰——从早期的“写死坐标”,逐步走向“内积涌现相对位置”与“局部/全局混合分工”:
| 方案 | 注入位置 | 可学习参数 | 长度外推性 | 远距离精准检索 | 代表模型 |
|---|---|---|---|---|---|
| Sinusoidal PE | 输入相加 | 差 | 弱 | 原始 Transformer | |
| Learned PE | 输入相加 | 无(硬上限) | 中 | BERT, GPT-2 | |
| T5 Relative Bias | 分数加偏置 | 中(桶截断) | 中弱 | T5, Flan-T5 | |
| ALiBi | 分数减线性项 | 强(PPL 稳) | 偏弱(强近邻偏置) | BLOOM, MPT | |
| RoPE | 配合 YaRN 极强 | 强(现代主流) | LLaMA, Qwen, DeepSeek | ||
| NoPE / 混合 | 因果掩码隐式 | 中强 | 配合 RoPE 极强 | Llama-4 (iRoPE) |
总体来看,绝对位置编码已退居历史舞台,T5 / ALiBi 在中短程与免训 PPL 外推上完成了承上启下的使命,而今天的通用大模型主战场完全属于 RoPE 及其外推全家桶 以及面向千万级上下文的 RoPE + NoPE 混合层。
06 三个最容易踩的工程坑
- 别把“困惑度(PPL)很稳”当成“真看懂了长文”:ALiBi 在超长文本上 PPL 极低,很大程度是因为它强行忽略了远处的词,只靠最近几千字预测下一词;一测“把暗号藏在开头第 500 字”的大海捞针任务,召回率往往明显落后于长训后的 RoPE 模型。
- 用正弦编码时,输入嵌入忘了乘
:词嵌入初始化通常很小,直接加上幅值在 之间的正弦波会把词义信号完全淹没;原始 Transformer 务必先将词嵌入放大 再加位置编码。 - 手写 ALiBi 偏置别傻傻存成巨型张量:在 32K 长度下,显式构造
[1, H, N, N]的偏置矩阵会瞬间吃光显存;接入 FlashAttention 时只需传入长度为的一维 alibi_slopes向量即可零显存开销融合。
想查阅置换等变性的严格矩阵证明、正弦和角公式推导,以及支持任意头数的
get_alibi_slopes完整 PyTorch 实现?按快捷键M或点击顶部技术 Wiki随时切换。
纯 自注意力机制 本质上是一种集合运算(Set Operation):如果不提供任何位置信息,把输入句子中的词元任意打乱,输出的每个词元表征只是跟着发生相同的置换。这种置换等变性(Permutation Equivariance) 虽然赋予了 Transformer 全局并行能力,却也使其天生丧失了感知词序的机制。位置编码(Positional Encoding, PE) 正是为弥补这一盲区而生的核心组件,并围绕“语义建模精度”与“长上下文 外推能力(Length Extrapolation)”演进出绝对编码、ALiBi、RoPE 与 NoPE 等多条技术路线。
直观理解
可以把无位置编码的注意力想象成把一堆写着单词的卡片撒在桌面上——无论卡片怎么排,“猫追狗”和“狗追猫”在模型眼中完全一样。绝对位置编码相当于给每张卡片贴上固定编号“第 1 号、第 2 号”;相对位置偏置(如 T5、ALiBi) 则是直接在两张卡片的连线上标出“相距几步远”;而 NoPE 则发现,因果掩码本身已经像“单行道队列”一样隐式暴露了先后顺序。
问题动机与演进背景
设序列输入矩阵为
可见无位置编码的双向注意力完全无法区分词序。一个理想的位置编码方案应同时满足四项性质:
- 唯一性:每个位置对应唯一可区分的表征。
- 相对距离一致性:任意相距
的词元对 在不同绝对起点处应呈现一致的关系。 - 长度外推性(Extrapolation):在长度
上训练后,能稳定泛化至 的未见序列长度。 - 低计算开销:不引入显著的显存或矩阵算力负担,兼容 FlashAttention 等高效核。
围绕这些目标,位置编码经历了 绝对位置(Sinusoidal / Learned)
核心原理与数学推导
1. 绝对正弦位置编码(Sinusoidal PE)
Vaswani 等人(2017)使用不同几何频率的正弦与余弦波为位置
其核心数学动机在于三角函数的和角公式——任意偏移量
其中
2. 可学习绝对位置编码(Learned PE)
BERT、GPT-2、ViT 等经典模型直接将位置编码设为一张可训练查表参数矩阵
在预设长度
3. T5 相对位置偏置(T5 Relative Position Bias)
与在输入端叠加位置不同,Shaw 等人(2018)和 T5(Raffel et al., 2020)选择在每一层的注意力得分矩阵上直接叠加一个仅依赖相对距离
T5 的核心技巧是对数分桶(Logarithmic Bucketing):将近距离(如
4. ALiBi(Attention with Linear Biases)
Press 等人(2022)提出 ALiBi,完全移除词嵌入处的位置向量,也不引入任何可学习位置参数,而是直接在每个注意力头的得分矩阵上减去一个与相对距离成正比的固定线性惩罚项:
即对位置
其中不同注意力头的斜率
若
5. NoPE(No Positional Encoding)
Kazemnejad 等人(2023)在研究中揭示了一个令人惊讶的理论结果:带因果掩码的 Decoder-Only Transformer 即使完全不加任何显式位置编码(NoPE),依然具备表达绝对与相对位置的能力。
其机理源于因果掩码破坏了置换对称性:位置 <bos>)携带标志向量
算法架构与数据流图
下图对比了三大类位置信息注入路径在 Transformer 中的作用位置差异:
图表加载中...
复杂度与横向对比表
| 位置编码方案 | 注入位置 | 额外可学习参数 | 长度外推能力 | 远距离精准检索 | 代表模型 |
|---|---|---|---|---|---|
| Sinusoidal PE | 输入 Embedding 相加 | 差(PPL 迅速崩溃) | 弱 | 原始 Transformer | |
| Learned PE | 输入 Embedding 相加 | 无(硬截断不可外推) | 中(限训练长度内) | BERT, GPT-2, OPT | |
| T5 Relative Bias | Attention Logits 相加 | 中(桶截断后丧失分辨力) | 中弱 | T5, Flan-T5 | |
| ALiBi | Attention Logits 相加 | 强(困惑度平稳外推) | 偏弱(强局部衰减偏置) | BLOOM, MPT, Baichuan-13B | |
| RoPE | 中(配合 NTK/YaRN 极强) | 强(主流标准) | LLaMA, Qwen, DeepSeek | ||
| NoPE | 无(靠因果掩码隐式诱导) | 中强(PPL 稳健) | 需配合 RoPE 混合层 | Llama-4(局部-全局混合) |
核心 PyTorch 参考实现
以下代码完整实现正弦位置编码与 ALiBi 斜率及偏置矩阵的生成逻辑:
python
import math
import torch
import torch.nn as nn
class SinusoidalPositionalEncoding(nn.Module):
def __init__(self, d_model: int, max_len: int = 4096):
super().__init__()
pe = torch.zeros(max_len, d_model)
position = torch.arange(0, max_len, dtype=torch.float32).unsqueeze(1) # [L, 1]
div_term = torch.exp(
torch.arange(0, d_model, 2, dtype=torch.float32) * (-math.log(10000.0) / d_model)
)
pe[:, 0::2] = torch.sin(position * div_term)
pe[:, 1::2] = torch.cos(position * div_term)
self.register_buffer("pe", pe.unsqueeze(0), persistent=False) # [1, L, d_model]
def forward(self, x: torch.Tensor) -> torch.Tensor:
# x: [B, N, d_model]
return x + self.pe[:, : x.size(1), :].to(x.dtype)
def get_alibi_slopes(n_heads: int) -> torch.Tensor:
"""生成 ALiBi 论文标准几何斜率序列,支持任意头数"""
def power_of_2_slopes(n: int):
ratio = 2 ** (-8 / n)
return [ratio ** (i + 1) for i in range(n)]
if math.log2(n_heads).is_integer():
slopes = power_of_2_slopes(n_heads)
else:
closest_pow2 = 2 ** math.floor(math.log2(n_heads))
slopes = power_of_2_slopes(closest_pow2)
extra = power_of_2_slopes(2 * closest_pow2)[0::2][: n_heads - closest_pow2]
slopes.extend(extra)
return torch.tensor(slopes, dtype=torch.float32)
def build_alibi_causal_bias(n_heads: int, seq_len: int, device=None) -> torch.Tensor:
"""构造形状为 [1, H, N, N] 的 ALiBi 因果注意力偏置矩阵"""
slopes = get_alibi_slopes(n_heads).to(device).view(1, n_heads, 1, 1) # [1, H, 1, 1]
pos = torch.arange(seq_len, device=device)
# 相对距离矩阵 rel_dist[i, j] = j - i (下三角非正,上三角为正)
rel_dist = pos.unsqueeze(0) - pos.unsqueeze(1) # [N, N]
alibi = slopes * rel_dist.unsqueeze(0).unsqueeze(0) # [1, H, N, N]
causal_mask = torch.triu(
torch.ones(seq_len, seq_len, device=device, dtype=torch.bool), diagonal=1
)
return alibi.masked_fill(causal_mask, float("-inf"))
if __name__ == "__main__":
sin_pe = SinusoidalPositionalEncoding(d_model=256)
x = torch.zeros(2, 16, 256)
print("Sinusoidal output:", sin_pe(x).shape)
alibi_bias = build_alibi_causal_bias(n_heads=8, seq_len=6)
print("ALiBi slopes (H=8):", get_alibi_slopes(8).tolist())
print("ALiBi bias head 0:\n", alibi_bias[0, 0])工程实践与常见陷阱
工程实践
- ALiBi 与 FlashAttention 的融合:在 FlashAttention-2/3 中,无需在 HBM 中显式物化
的 ALiBi 偏置张量,只需传入长度为 的一维 alibi_slopes向量,内核会在片上 SRAM 中实时计算,几乎零显存开销。 - 现代混合架构趋势(iRoPE / RoPE+NoPE):最新超长上下文模型(如 Llama-4 Scout 的 10M 上下文设计)采用“3 层局部滑窗 RoPE + 1 层全局全注意力 NoPE”的交替排布(iRoPE),利用 RoPE 精准捕捉局部依赖,同时借助无显式衰减的 NoPE 层实现跨百万词元的无损信息路由。
常见陷阱
- 将 PPL 稳定误等同于有效长上下文理解:ALiBi 在超长序列上困惑度(PPL)极低,但原因往往是其强线性衰减迫使模型只依赖最近几千个词元——在“大海捞针(Needle-in-a-Haystack)”测试中,ALiBi 对位于上下文首部的关键事实检索召回率显著弱于经过长上下文持续预训练的 RoPE 模型。
- 输入词嵌入与正弦编码的量级失衡:原始 Transformer 在加上正弦位置编码前,必须先将词嵌入乘以
(即 ),因为词嵌入初始化方差通常较小(如 ),不缩放会导致语义信息被幅值在 之间的位置波完全淹没。 - NoPE 的推理温度退火需求:纯 NoPE 模型在外推超长序列时,由于注意力熵随上下文长度增长而扩散,推理时常需对全局注意力层引入对数尺度温度缩放(如乘以
)以保持注意力锐度。
延伸阅读与参考论文
- 正弦位置编码:Vaswani et al., Attention Is All You Need, NeurIPS 2017 (arXiv:1706.03762 ↗).
- 相对位置注意力先驱:Shaw et al., Self-Attention with Relative Position Representations, NAACL 2018 (arXiv:1803.02155 ↗).
- T5 对数分桶偏置:Raffel et al., Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, JMLR 2020 (arXiv:1910.10683 ↗).
- ALiBi 线性偏置:Press et al., Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation, ICLR 2022 (arXiv:2108.12409 ↗).
- NoPE 理论与外推:Kazemnejad et al., The Impact of Positional Encoding on Length Generalization in Transformers, NeurIPS 2023 (arXiv:2305.19466 ↗).