外观
概念定义 · 为什么要整车剖析 LLaMA 1 / 2 / 3 / 4 演进史?
如果说 GPT 定义了大语言模型的范式,那么 Meta LLaMA 系列 就确立了整个开源大模型生态的“工业标准模具”。
纵观四代演进几乎就是一部浓缩的现代 LLM 架构进化史:LLaMA 1 定型了 Pre-RMSNorm + RoPE + SwiGLU 黄金铁三角;LLaMA 2 普及了省显存的 GQA;LLaMA 3 用 128K 词表 + ABF 长上下文 + 15T 推理最优过训练把稠密模型推向极限;LLaMA 4 则全面跨入 MoE + 交替 NoPE(iRoPE)+ 原生多模态 时代。
01 问题从何而来:为什么全球开源大模型几乎都长得像 LLaMA?
如果你今天随机打开十个开源大模型的代码仓库,会惊讶地发现它们内部骨架高度雷同:前置 RMSNorm、RoPE 旋转位置编码、SwiGLU 门控前馈层 再加 GQA 注意力。这套如今被视为“理所当然”的行业默认配方,并不是天上掉下来的,而是 Meta 的 LLaMA 家族用四代演进硬生生打下来的江山。
从 2023 年点燃开源火种的 LLaMA 1(Touvron et al., 2023 ↗),到普及商用与 GQA 的 LLaMA 2(Touvron et al., 2023 ↗),再到以 15 万亿词元把稠密架构推至巅峰的 LLaMA 3(Grattafiori et al., 2024 ↗),直至转向 MoE + 1000 万字上下文 + 原生多模态的 LLaMA 4,读懂 LLaMA 的进化史,就等于读懂了过去三年整个大模型工业界的主线剧本。
类比 · 从“造出标准家用轿车”到“换装混动越野超跑”
如果把大模型造车比作汽车工业演进:
- LLaMA 1 就像福特 T 型车:把当时散落在各家实验室里的好零件(RMSNorm 省算力、RoPE 懂相对距离、SwiGLU 提表达)组装成一台皮实、简单、谁都能照着修的标准化开源底盘,还意外发现“小排量多跑公里(过训练)”比盲目堆大车更划算!
- LLaMA 2 & 3 则是把这台燃油车打磨到极致:升级省油变速箱(GQA 省下 8 倍记忆显存)、换装多国通用大字典(128K BPE 词表),再往里灌进 15 万亿词元的顶级精炼燃油,把纯稠密发动机压榨到物理天花板。
- LLaMA 4 终于迎来动力革命:当纯稠密再怎么猛踩油门都嫌费油时,它果断切入 MoE 混动架构,拆掉每 4 层里的位置刻度尺(iRoPE),还把摄像头直接焊进了主引擎(早期原生多模态)!
核心设问
为什么 LLaMA 1 到 3 宁可把 8B 小模型喂到“撑爆”的 15T 词元也不大改架构,可到了 LLaMA 4 却一次性引入了 MoE、局部/无位置交替注意力(iRoPE)与原生多模态?这背后隐藏着怎样的算力与推理经济账?
02 核心直觉:四代跃迁背后的三个关键转折点
类比 · 转折一:打破“省油指南”的过训练哲学(LLaMA 1 → 3)
早年的 Chinchilla 缩放定律 说,为了把“训练电费”花到最值,参数量和数据量应该按 1:20 黄金比例配对(比如 8B 模型配 160B 词元就该停手)。
可 Meta 算了一笔更现实的推理长远账:训练只花一次钱,推理却要被全球几亿用户调用千百万次!宁可在训练时狠心多烧十倍、百倍的数据——把 8B 模型硬生生喂进 15T 词元(近 1900 倍于参数量),哪怕训练账单贵一点,只要能换来一个“手机和单卡就能跑、智商却堪比昔日百亿巨兽”的小模型,整笔商业账就赚翻了。
类比 · 转折二:从“放大词典 + 拉长刻度尺”到“干脆扔掉部分刻度尺”(LLaMA 3 → 4)
- LLaMA 3 的升级稳健直接:先把 32K 小词典换成 128K BPE 大词典,常见词和代码一个词元就能吞下,省下 15% 计算步数;再把 RoPE 的旋转基频从
10,000拉高到500,000,让指针转得更慢,顺利把记忆窗口扩到 128K。 - LLaMA 4 的 iRoPE 则脑洞大开:想读整整 1000 万字(10M) 的超长代码库时,每层都看全局算不起,每层都套 RoPE 也会在极远距离上相位发糊。于是 LLaMA 4 把 4 层编成一个小队:前 3 层只看自己身边 8K 字的“邻里小圈子”(带 RoPE),第 4 层干脆摘掉位置眼镜(NoPE),纵览全篇 1000 万字做全局寻宝!
类比 · 转折三:从“外挂眼睛”到“天生自带视觉神经”(早期原生多模态)
以前给语言模型看图(比如 LLaMA 3.2 Vision),常见做法是先训好一个纯文字大脑,再在半腰外挂一条交叉注意力数据线接上视觉编码器——像给成年人戴一副翻译眼镜,跨模态理解总隔着一层纱。
LLaMA 4 转向了早期融合(Early Fusion):从预训练第一天起,就把图片切片词元和文字词元铺进同一条主干流水线里一起学,搭配 MoE 里的 16 或 128 个专家与 1 个共享专家,视觉与文字表征在最底层就水乳交融。
03 把关键公式读成人话
先看 LLaMA 1 确立并沿用至今的 标准现代 Decoder Block 骨架:
**把公式读成直觉:**输入特征
再看 LLaMA 4 在无位置编码(NoPE)全局层中防“信息稀释”的 推理期对数温度缩放:
**把公式读成直觉:**想象你站在一个坐满 1000 万观众的体育场里找唯一举手的朋友。由于没有位置衰减,Softmax 要把总计 100% 的注意力平分给越来越庞大的候选池,稍微一不留神,正确答案的权重就被稀释得像大海捞针一样平淡无奇。
这个公式干的事非常巧妙:文档越长(当前位置
04 四代基因图谱:LLaMA 家族到底改动了哪些关键零件?
把 LLaMA 四代并排摆在工作台上,你会看到一条极其克制却步步精准的工程演进路线:
| 代际里程碑 | 核心架构新件 | 词表与上下文 | 预训练规模 | 标志性历史意义 |
|---|---|---|---|---|
| LLaMA 1 | Pre-RMSNorm + RoPE + SwiGLU | 32K / 2K | 1.4T | 确立全球开源大模型通用骨架模板 |
| LLaMA 2 | 70B 落地 GQA + 多轮 RLHF | 32K / 4K | 2.0T | 打通开源可商用生态与推理显存减负 |
| LLaMA 3 / 3.1 | 全尺寸 GQA + ABF RoPE + DPO | 128K / 128K | 15.6T | 将纯稠密过训练推至 405B 顶峰 |
| LLaMA 4 | MoE + iRoPE + 早期原生多模态 | 200K+ / 1M–10M | 22T–40T | 正式告别纯稠密,迈入稀疏多模态纪元 |
把一个词元放进 LLaMA 4 内部走一圈,你能直观看到它与前代稠密模型的区别:
- 入口处:文本与图像切块被统一编码进同一条词元流,不再像 LLaMA 3.2 那样把视觉当成外挂插件;
- 第 1–3 层(局部近视层):只看当前 8K 局部块,套上 RoPE 精细捕捉句法、代码缩进与局部语义;
- 第 4 层(全局望远镜层):彻底摘掉 RoPE(即 NoPE),叠加对数温度缩放,一眼扫过上百万字的全篇文档精准捞出关键事实;
- 前馈子层(交替 MoE):遇到 MoE 层时,每个词元同时经过 1 位全科共享专家 + 1 位最对口的路由专科专家,既保住了 400B 级知识容量,又把单步激活死死控制在 17B。
这背后还藏着一个很少被注意到的系统真相:在 LLaMA 3 405B 的官方论文里,Meta 坦诚公开了 16,384 张 H100 跑 54 天的真实运维账本——整个集群一共崩溃中断了 419 次(平均每 3 小时就有一张卡或内存出故障)!超大规模训练拼到最后,一半是算法架构,另一半是分布式并行与自动化容错基建。
05 三个最容易踩的实战误区
- 以为“架构没大改”就等于“没什么技术含量”: LLaMA 3 在核心公式上看似几乎照搬 LLaMA 2,但它真正的护城河藏在 15T 高质量数据工程(去重、多模型质量打分、退火配比)与万卡级 4D 并行稳定性里——这恰恰是工业界最难抄的硬功夫。
- 微调或部署 LLaMA 3/4 时沿用旧版配置: 从 LLaMA 3 开始,分词器彻底从 SentencePiece 换成了 128K Tiktoken,RoPE 基频也从
10,000飙升到500,000;一旦脚本里漏改<|eot_id|>对话结束符或把基频填回旧默认值,模型马上就会在长对话里胡言乱语。 - 看到 LLaMA 4 Scout 标称 10M 上下文,就以为普通单卡能塞进 1000 万字: 虽然 iRoPE 的局部层省下了大量计算,但每 4 层里的全局 NoPE 层依然要老老实实保存完整 KV Cache,想真正跑满百万级上下文,离不开 FP8 量化 与多卡分布式 KV 内存池协同支撑。
回望 LLaMA 1 到 LLaMA 4 这条演进主线,其实能读出一种极其务实的工程定力:
- 早期先做减法:用最干净的 Pre-RMSNorm + RoPE + SwiGLU 统一生态,把 90% 的精力砸在 数据清洗与配比 和极致过训练上;
- 瓶颈到了再做乘法:当纯稠密模型推到 405B 已逼近单步推理算力极限,且上下文需求从 128K 飙向千万级时,才顺势引入 MoE 稀疏化、iRoPE 无位置全局层与原生多模态——每一步升级都踩在真实生产痛点上。
想查看 LLaMA 3.1 分段频率缩放公式、四代完整超参账本,以及 LLaMA 4
Llama4InterleavedAttention(局部 RoPE 块掩码 + 全局 NoPE 对数温度缩放)的可运行 PyTorch 代码?按快捷键M或点击顶部技术 Wiki随时切换。
在开源大模型发展史上,Meta 的 LLaMA(Large Language Model Meta AI) 家族扮演了“标准制定者”的角色。与激进改造底层算子的路线不同,LLaMA 1 至 LLaMA 3 奉行 “极简稳定架构 + 极致数据工程与过训练缩放” 哲学,一举统一了全球开源界对现代 Transformer 的默认工程规范;而到了 LLaMA 4,面对万亿参数算力墙与百万级上下文需求,Meta 顺势转向 MoE 稀疏化 + iRoPE 交替无位置层 + 早期原生多模态,完成了从经典稠密时代向新一代多模态稀疏架构的跨越。
起源背景与四代演进脉络
LLaMA 四代模型的每一轮大版本迭代,都精准回应了当时工业界最核心的瓶颈:
- LLaMA 1(2023.02,7B–65B)——确立现代开源工业模板:吸纳 GPT-3、PaLM 与 GPTNeo 的成熟组件,锁定 Pre-RMSNorm + RoPE + SwiGLU 黄金三件套;并首次大规模验证推理最优过训练(Over-Training)——打破 Chinchilla 缩放定律(
),用 1T~1.4T 词元充分喂养 7B/13B 小模型,使 13B 模型正面击败 175B 的 GPT-3。 - LLaMA 2(2023.07,7B–70B)——拥抱商用推理与对齐:上下文翻倍至 4K、预训练扩容至 2T 词元;在 34B/70B 首次大规模引入 GQA 分组查询注意力 压低 KV Cache 显存;后训练提出多轮迭代 RLHF(PPO + 拒绝采样) 与 Ghost Attention,开放可商用许可引爆全球生态。
- LLaMA 3 / 3.1(2024.04–07,8B / 70B / 405B)——数据与算力的稠密巅峰:几乎维持 LLaMA 2 的极简结构不变,但把词表从 32K 升级为 128K Tiktoken BPE(文本压缩率提升 ~15%),全尺寸标配 GQA,将 RoPE 基频猛增至
并结合分段频域缩放扩至 128K 长上下文;在 16K 张 H100 上以 4D 并行 训满 15T 精选词元,后训练全面转向更稳定的 SFT + DPO 迭代管线。 - LLaMA 4(2025.04,Scout 109B/17B & Maverick 400B/17B)——MoE、iRoPE 与早期多模态:告别纯稠密,转向 16/128 专家 + 1 共享专家的交替 MoE 架构;首创 iRoPE(局部 Chunked RoPE 与全局无位置编码 NoPE 交替排布)配合推理期注意力温度缩放,将 Scout 有效窗口推至史无前例的 10M 词元;并采用早期融合(Early Fusion)将图像与文本统一送入共享骨干。
核心原理与关键架构演进剖析
1. 黄金三件套与推理最优过训练(LLaMA 1 → 3)
LLaMA 1 确立的标准 Decoder Block 数学形式成为后续几乎所有开源模型的共同基线:
其中 SwiGLU 放弃标准
2. ABF 与分段频率平滑:LLaMA 3.1 的 128K 扩张
为了在不重训全量短文本的前提下把 8K 上下文无损扩至 128K,LLaMA 3.1 延续了 ABF(Adjusted Base Frequency) 思路,先将 RoPE 基础频率从
其中
3. LLaMA 4 的 iRoPE:局部 RoPE + 全局 NoPE + 温度缩放
常规全层 RoPE 在迈向百万级词元(如 10M)时,即使做基频外推仍面临长距衰减与全局计算爆炸。LLaMA 4 提出的 iRoPE(Interleaved RoPE / Infinite RoPE) 由三项机制协同组成:
- 交替层排布:每 4 层为一组,前 3 层采用带 RoPE 的局部块注意力(Chunked Local Attention,块大小 8K) 捕捉高精度邻域句法;第 4 层彻底移除位置编码(NoPE),执行全局全注意力负责跨百万词元的信息检索,且完全消除长距 RoPE 相位失真。
- 推理期注意力温度缩放(Attention Temperature Scaling):在极长序列下,NoPE 全局层的 Softmax 分布会因词元数
暴增而变得平坦(注意力熵坍塌)。LLaMA 4 在推理时动态锐化查询向量尺度: 随位置 对数级放大查询幅值,防止长程关键“针(Needle)”被海量上下文淹没。 - 交替 MoE + 共享专家与 MetaP:LLaMA 4 借鉴
P 超参迁移 提出 MetaP,在小模型上标定学习率与初始化方差后零调参迁移至百亿激活 MoE;Maverick 每隔一层布置 128 路由专家(Top-1)+ 1 共享专家,兼顾单卡/单机 FP8 部署与超大容量。
四代架构演进数据流对比图
图表加载中...
LLaMA 四代核心参数与规格演进账本
| 演进维度 | LLaMA 1 (65B) | LLaMA 2 (70B) | LLaMA 3.1 (405B) | LLaMA 4 Maverick (400B) |
|---|---|---|---|---|
| 架构形态 | 稠密 Dense | 稠密 Dense | 稠密 Dense | 交替 MoE (17B 激活 / 128E+1S) |
| 层数 / 隐维 | 80 / 8192 | 80 / 8192 | 126 / 16384 | 48 / 5120 |
| 注意力与 KV 头 | MHA (64/64) | GQA (64/8) | GQA (128/8) | iRoPE GQA(局部 8K + 全局 NoPE) |
| 位置编码基频 | RoPE ( | RoPE ( | ABF RoPE ( | iRoPE + 对数温度缩放 |
| 词表大小 | 32K (SentencePiece) | 32K (SentencePiece) | 128K (Tiktoken BPE) | 200K+ (多语种/多模态统一) |
| 最大上下文 | 2K | 4K | 128K | 1M(Scout 达 10M) |
| 预训练词元量 | 1.4T | 2.0T | 15.6T | 22T–40T(多模态混合) |
| 核心后训练范式 | 无官方对齐版 | SFT + 多轮 PPO RLHF | 多轮 SFT + 拒绝采样 + DPO | 轻量 SFT + 在线 RL + 轻量 DPO |
核心 PyTorch 参考实现(LLaMA 4 iRoPE 局部/全局交替块)
下面用精简 PyTorch 代码展示 LLaMA 4 iRoPE(局部块 RoPE vs. 全局 NoPE + 推理温度缩放) 与 GQA + SwiGLU 的核心逻辑:
python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F
class RMSNorm(nn.Module):
def __init__(self, d: int, eps: float = 1e-5):
super().__init__()
self.weight = nn.Parameter(torch.ones(d))
self.eps = eps
def forward(self, x: torch.Tensor) -> torch.Tensor:
return x * torch.rsqrt(x.pow(2).mean(-1, keepdim=True) + self.eps) * self.weight
def apply_rope(x: torch.Tensor, base: float = 500000.0) -> torch.Tensor:
# x: [B, H, T, Dh]
T, Dh = x.size(2), x.size(3)
inv_freq = 1.0 / (base ** (torch.arange(0, Dh, 2, device=x.device).float() / Dh))
pos = torch.arange(T, device=x.device).float()
freqs = torch.outer(pos, inv_freq)
cos, sin = freqs.cos()[None, None, :, :], freqs.sin()[None, None, :, :]
x1, x2 = x[..., 0::2], x[..., 1::2]
return torch.stack([x1 * cos - x2 * sin, x1 * sin + x2 * cos], dim=-1).flatten(-2)
class Llama4InterleavedAttention(nn.Module):
"""LLaMA 4 iRoPE 注意力:局部层用 RoPE+块掩码,全局层用 NoPE+对数温度缩放"""
def __init__(self, d=256, n_heads=8, n_kv_heads=2, use_rope=True, chunk_size=32, temp_beta=0.1, floor_scale=64):
super().__init__()
self.n_heads, self.n_kv_heads = n_heads, n_kv_heads
self.dh = d // n_heads
self.use_rope, self.chunk_size = use_rope, chunk_size
self.temp_beta, self.floor_scale = temp_beta, floor_scale
self.wq = nn.Linear(d, n_heads * self.dh, bias=False)
self.wk = nn.Linear(d, n_kv_heads * self.dh, bias=False)
self.wv = nn.Linear(d, n_kv_heads * self.dh, bias=False)
self.wo = nn.Linear(d, d, bias=False)
def forward(self, x: torch.Tensor) -> torch.Tensor:
B, T, _ = x.shape
q = self.wq(x).view(B, T, self.n_heads, self.dh).transpose(1, 2)
k = self.wk(x).view(B, T, self.n_kv_heads, self.dh).transpose(1, 2)
v = self.wv(x).view(B, T, self.n_kv_heads, self.dh).transpose(1, 2)
if self.use_rope:
q, k = apply_rope(q), apply_rope(k)
# 局部块因果掩码:仅允许关注同一 chunk 内的历史词元
idx = torch.arange(T, device=x.device)
causal = idx[:, None] >= idx[None, :]
same_chunk = (idx[:, None] // self.chunk_size) == (idx[None, :] // self.chunk_size)
attn_mask = causal & same_chunk
else:
# NoPE 全局层:不施位置编码,按位置对数锐化查询尺度抑制长窗熵坍塌
pos = torch.arange(T, device=x.device).float()
scales = 1.0 + self.temp_beta * torch.log1p(torch.floor(pos / self.floor_scale))
q = q * scales.view(1, 1, T, 1)
attn_mask = None # 走标准全局因果掩码
rep = self.n_heads // self.n_kv_heads
k, v = k.repeat_interleave(rep, dim=1), v.repeat_interleave(rep, dim=1)
out = F.scaled_dot_product_attention(q, k, v, attn_mask=attn_mask, is_causal=(attn_mask is None))
return self.wo(out.transpose(1, 2).contiguous().view(B, T, -1))工程实践与常见陷阱
工程实践
- 词表扩容必须匹配充分的预训练词元量:LLaMA 3 将词表从 32K 暴增至 128K,Embedding 与 LM Head 参数瞬间多出约 10B(405B 规模下占比仍可控),之所以效果极佳,是因为 15T 词元让每个新增多语种与代码子词都获得了充足的梯度更新。
- 用 DPO 替代重型 PPO 降低大集群对齐复杂度:LLaMA 3.1 405B 实践表明,在百亿到四千亿规模上,用多轮“拒绝采样 + DPO”替代需要在线运行 4 份模型的 PPO,能以远低得多的系统工程成本获得更稳定的指令遵循能力。
- 长上下文训练严防跨文档污染:LLaMA 3 与 4 在把多篇短文档拼接进长序列打包(Packing)时,都在 FlashAttention 层强制注入文档内注意掩码(Intra-Document Attention Mask),避免模型把前一篇文档的结尾误当成后一篇文档的上下文。
常见陷阱
- 盲目直接照搬 10M 窗口而忽略 KV Cache 与 NoPE 边界:LLaMA 4 Scout 虽支持 10M 上下文,但 NoPE 全局层的 KV 显存仍随长度线性增长,生产部署仍需借助局部层丢弃旧块 + 全局层 FP8 KV 量化 与 PagedAttention 协同控显存。
- 微调 LLaMA 3/4 时忘调 RoPE 基频或漏改分词器特殊词元:LLaMA 3 起全面切换为 Tiktoken 128K 词表与
<|begin_of_text|>/<|eot_id|>对话模板,且 RoPE;若沿用 LLaMA 2 的 10000基频或旧版 SentencePiece 模板,长文本困惑度会瞬间崩塌。 - 误把 405B 稠密训练的运维复杂度低估:LLaMA 3 405B 16K H100 集群训练报告披露,54 天内发生了 419 次非计划中断(近半数源于 GPU/HBM 硬件故障);超大规模训练的核心壁垒往往不在公式而在自动化容错、健康巡检与静默数据损坏(SDC)检测。
延伸阅读与参考论文
- LLaMA 1 奠基论文:Touvron et al., LLaMA: Open and Efficient Foundation Language Models, 2023 (arXiv:2302.13971 ↗).
- LLaMA 2 商用与对齐:Touvron et al., Llama 2: Open Foundation and Fine-Tuned Chat Models, 2023 (arXiv:2307.09288 ↗).
- LLaMA 3 旗舰全栈报告:Grattafiori et al., The Llama 3 Herd of Models, 2024 (arXiv:2407.21783 ↗).
- ABF 长上下文与 NoPE 理论支撑:Xiong et al., Effective Long-Context Scaling of Foundation Models, NAACL 2024 (arXiv:2309.16039 ↗); Kazemnejad et al., The Impact of Positional Encoding on Length Generalization in Transformers, NeurIPS 2023 (arXiv:2305.19466 ↗).
- LLaMA 4 官方发布与架构说明:Meta AI, The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation, April 2025 (Meta AI Blog ↗).