Skip to content

LLaMA 1 / 2 / 3 / 4 架构演进史

纵览 LLaMA 四代演进:从确立开源工业模板,到 GQA、15T 过训练与 LLaMA 4 MoE/iRoPE。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 为什么要整车剖析 LLaMA 1 / 2 / 3 / 4 演进史?

如果说 GPT 定义了大语言模型的范式,那么 Meta LLaMA 系列 就确立了整个开源大模型生态的“工业标准模具”。

纵观四代演进几乎就是一部浓缩的现代 LLM 架构进化史:LLaMA 1 定型了 Pre-RMSNorm + RoPE + SwiGLU 黄金铁三角;LLaMA 2 普及了省显存的 GQA;LLaMA 3 用 128K 词表 + ABF 长上下文 + 15T 推理最优过训练把稠密模型推向极限;LLaMA 4 则全面跨入 MoE + 交替 NoPE(iRoPE)+ 原生多模态 时代。

01 问题从何而来:为什么全球开源大模型几乎都长得像 LLaMA? ​

如果你今天随机打开十个开源大模型的代码仓库,会惊讶地发现它们内部骨架高度雷同:前置 RMSNorm、RoPE 旋转位置编码、SwiGLU 门控前馈层 再加 GQA 注意力。这套如今被视为“理所当然”的行业默认配方,并不是天上掉下来的,而是 Meta 的 LLaMA 家族用四代演进硬生生打下来的江山。

从 2023 年点燃开源火种的 LLaMA 1(Touvron et al., 2023 ↗),到普及商用与 GQA 的 LLaMA 2(Touvron et al., 2023 ↗),再到以 15 万亿词元把稠密架构推至巅峰的 LLaMA 3(Grattafiori et al., 2024 ↗),直至转向 MoE + 1000 万字上下文 + 原生多模态的 LLaMA 4,读懂 LLaMA 的进化史,就等于读懂了过去三年整个大模型工业界的主线剧本。

类比 · 从“造出标准家用轿车”到“换装混动越野超跑”

如果把大模型造车比作汽车工业演进:

  • LLaMA 1 就像福特 T 型车:把当时散落在各家实验室里的好零件(RMSNorm 省算力、RoPE 懂相对距离、SwiGLU 提表达)组装成一台皮实、简单、谁都能照着修的标准化开源底盘,还意外发现“小排量多跑公里(过训练)”比盲目堆大车更划算!
  • LLaMA 2 & 3 则是把这台燃油车打磨到极致:升级省油变速箱(GQA 省下 8 倍记忆显存)、换装多国通用大字典(128K BPE 词表),再往里灌进 15 万亿词元的顶级精炼燃油,把纯稠密发动机压榨到物理天花板。
  • LLaMA 4 终于迎来动力革命:当纯稠密再怎么猛踩油门都嫌费油时,它果断切入 MoE 混动架构,拆掉每 4 层里的位置刻度尺(iRoPE),还把摄像头直接焊进了主引擎(早期原生多模态)!
核心设问

为什么 LLaMA 1 到 3 宁可把 8B 小模型喂到“撑爆”的 15T 词元也不大改架构,可到了 LLaMA 4 却一次性引入了 MoE、局部/无位置交替注意力(iRoPE)与原生多模态?这背后隐藏着怎样的算力与推理经济账?

02 核心直觉:四代跃迁背后的三个关键转折点 ​

类比 · 转折一:打破“省油指南”的过训练哲学(LLaMA 1 → 3)

早年的 Chinchilla 缩放定律 说,为了把“训练电费”花到最值,参数量和数据量应该按 1:20 黄金比例配对(比如 8B 模型配 160B 词元就该停手)。

可 Meta 算了一笔更现实的推理长远账:训练只花一次钱,推理却要被全球几亿用户调用千百万次!宁可在训练时狠心多烧十倍、百倍的数据——把 8B 模型硬生生喂进 15T 词元(近 1900 倍于参数量),哪怕训练账单贵一点,只要能换来一个“手机和单卡就能跑、智商却堪比昔日百亿巨兽”的小模型,整笔商业账就赚翻了。

类比 · 转折二:从“放大词典 + 拉长刻度尺”到“干脆扔掉部分刻度尺”(LLaMA 3 → 4)
  • LLaMA 3 的升级稳健直接:先把 32K 小词典换成 128K BPE 大词典,常见词和代码一个词元就能吞下,省下 15% 计算步数;再把 RoPE 的旋转基频从 10,000 拉高到 500,000,让指针转得更慢,顺利把记忆窗口扩到 128K。
  • LLaMA 4 的 iRoPE 则脑洞大开:想读整整 1000 万字(10M) 的超长代码库时,每层都看全局算不起,每层都套 RoPE 也会在极远距离上相位发糊。于是 LLaMA 4 把 4 层编成一个小队:前 3 层只看自己身边 8K 字的“邻里小圈子”(带 RoPE),第 4 层干脆摘掉位置眼镜(NoPE),纵览全篇 1000 万字做全局寻宝!
类比 · 转折三:从“外挂眼睛”到“天生自带视觉神经”(早期原生多模态)

以前给语言模型看图(比如 LLaMA 3.2 Vision),常见做法是先训好一个纯文字大脑,再在半腰外挂一条交叉注意力数据线接上视觉编码器——像给成年人戴一副翻译眼镜,跨模态理解总隔着一层纱。

LLaMA 4 转向了早期融合(Early Fusion):从预训练第一天起,就把图片切片词元和文字词元铺进同一条主干流水线里一起学,搭配 MoE 里的 16 或 128 个专家与 1 个共享专家,视觉与文字表征在最底层就水乳交融。

03 把关键公式读成人话 ​

先看 LLaMA 1 确立并沿用至今的 标准现代 Decoder Block 骨架:

h′=x+GQA(RoPE(RMSNorm(x))),y=h′+SwiGLU(RMSNorm(h′))

**把公式读成直觉:**输入特征 x 像沿着两条平行的“高速主干道”前进:先过一遍轻巧的 RMSNorm 稳住数值,走一趟带旋转位置编码的分组注意力汇集上下文信息,立刻加回主干道;接着再稳压一次,走一趟 SwiGLU 门控前馈层做深度知识检索与加工,再加回主干道。极简、对称、梯度畅通无阻——这就是它统治开源界三年的原因。

再看 LLaMA 4 在无位置编码(NoPE)全局层中防“信息稀释”的 推理期对数温度缩放:

q~t=qt⋅(1+β⋅log(1+⌊tsfloor⌋))

**把公式读成直觉:**想象你站在一个坐满 1000 万观众的体育场里找唯一举手的朋友。由于没有位置衰减,Softmax 要把总计 100% 的注意力平分给越来越庞大的候选池,稍微一不留神,正确答案的权重就被稀释得像大海捞针一样平淡无奇。

这个公式干的事非常巧妙:文档越长(当前位置 t 越大),就按对数比例把查询向量的“嗓门” q~t 调得更尖锐一点。这样 Softmax 会变得更果断,稳稳把注意力聚焦在真正相关的那几条远处线索上,不至于被百万背景噪声淹没!

04 四代基因图谱:LLaMA 家族到底改动了哪些关键零件? ​

把 LLaMA 四代并排摆在工作台上,你会看到一条极其克制却步步精准的工程演进路线:

代际里程碑核心架构新件词表与上下文预训练规模标志性历史意义
LLaMA 1Pre-RMSNorm + RoPE + SwiGLU32K / 2K1.4T确立全球开源大模型通用骨架模板
LLaMA 270B 落地 GQA + 多轮 RLHF32K / 4K2.0T打通开源可商用生态与推理显存减负
LLaMA 3 / 3.1全尺寸 GQA + ABF RoPE + DPO128K / 128K15.6T将纯稠密过训练推至 405B 顶峰
LLaMA 4MoE + iRoPE + 早期原生多模态200K+ / 1M–10M22T–40T正式告别纯稠密,迈入稀疏多模态纪元

把一个词元放进 LLaMA 4 内部走一圈,你能直观看到它与前代稠密模型的区别:

  • 入口处:文本与图像切块被统一编码进同一条词元流,不再像 LLaMA 3.2 那样把视觉当成外挂插件;
  • 第 1–3 层(局部近视层):只看当前 8K 局部块,套上 RoPE 精细捕捉句法、代码缩进与局部语义;
  • 第 4 层(全局望远镜层):彻底摘掉 RoPE(即 NoPE),叠加对数温度缩放,一眼扫过上百万字的全篇文档精准捞出关键事实;
  • 前馈子层(交替 MoE):遇到 MoE 层时,每个词元同时经过 1 位全科共享专家 + 1 位最对口的路由专科专家,既保住了 400B 级知识容量,又把单步激活死死控制在 17B。

这背后还藏着一个很少被注意到的系统真相:在 LLaMA 3 405B 的官方论文里,Meta 坦诚公开了 16,384 张 H100 跑 54 天的真实运维账本——整个集群一共崩溃中断了 419 次(平均每 3 小时就有一张卡或内存出故障)!超大规模训练拼到最后,一半是算法架构,另一半是分布式并行与自动化容错基建。

05 三个最容易踩的实战误区 ​

  1. 以为“架构没大改”就等于“没什么技术含量”: LLaMA 3 在核心公式上看似几乎照搬 LLaMA 2,但它真正的护城河藏在 15T 高质量数据工程(去重、多模型质量打分、退火配比)与万卡级 4D 并行稳定性里——这恰恰是工业界最难抄的硬功夫。
  2. 微调或部署 LLaMA 3/4 时沿用旧版配置: 从 LLaMA 3 开始,分词器彻底从 SentencePiece 换成了 128K Tiktoken,RoPE 基频也从 10,000 飙升到 500,000;一旦脚本里漏改 <|eot_id|> 对话结束符或把基频填回旧默认值,模型马上就会在长对话里胡言乱语。
  3. 看到 LLaMA 4 Scout 标称 10M 上下文,就以为普通单卡能塞进 1000 万字: 虽然 iRoPE 的局部层省下了大量计算,但每 4 层里的全局 NoPE 层依然要老老实实保存完整 KV Cache,想真正跑满百万级上下文,离不开 FP8 量化 与多卡分布式 KV 内存池协同支撑。

回望 LLaMA 1 到 LLaMA 4 这条演进主线,其实能读出一种极其务实的工程定力:

  • 早期先做减法:用最干净的 Pre-RMSNorm + RoPE + SwiGLU 统一生态,把 90% 的精力砸在 数据清洗与配比 和极致过训练上;
  • 瓶颈到了再做乘法:当纯稠密模型推到 405B 已逼近单步推理算力极限,且上下文需求从 128K 飙向千万级时,才顺势引入 MoE 稀疏化、iRoPE 无位置全局层与原生多模态——每一步升级都踩在真实生产痛点上。

想查看 LLaMA 3.1 分段频率缩放公式、四代完整超参账本,以及 LLaMA 4 Llama4InterleavedAttention(局部 RoPE 块掩码 + 全局 NoPE 对数温度缩放)的可运行 PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

在开源大模型发展史上,Meta 的 LLaMA(Large Language Model Meta AI) 家族扮演了“标准制定者”的角色。与激进改造底层算子的路线不同,LLaMA 1 至 LLaMA 3 奉行 “极简稳定架构 + 极致数据工程与过训练缩放” 哲学,一举统一了全球开源界对现代 Transformer 的默认工程规范;而到了 LLaMA 4,面对万亿参数算力墙与百万级上下文需求,Meta 顺势转向 MoE 稀疏化 + iRoPE 交替无位置层 + 早期原生多模态,完成了从经典稠密时代向新一代多模态稀疏架构的跨越。

起源背景与四代演进脉络 ​

LLaMA 四代模型的每一轮大版本迭代,都精准回应了当时工业界最核心的瓶颈:

  1. LLaMA 1(2023.02,7B–65B)——确立现代开源工业模板:吸纳 GPT-3、PaLM 与 GPTNeo 的成熟组件,锁定 Pre-RMSNorm + RoPE + SwiGLU 黄金三件套;并首次大规模验证推理最优过训练(Over-Training)——打破 Chinchilla 缩放定律(D≈20N),用 1T~1.4T 词元充分喂养 7B/13B 小模型,使 13B 模型正面击败 175B 的 GPT-3。
  2. LLaMA 2(2023.07,7B–70B)——拥抱商用推理与对齐:上下文翻倍至 4K、预训练扩容至 2T 词元;在 34B/70B 首次大规模引入 GQA 分组查询注意力 压低 KV Cache 显存;后训练提出多轮迭代 RLHF(PPO + 拒绝采样) 与 Ghost Attention,开放可商用许可引爆全球生态。
  3. LLaMA 3 / 3.1(2024.04–07,8B / 70B / 405B)——数据与算力的稠密巅峰:几乎维持 LLaMA 2 的极简结构不变,但把词表从 32K 升级为 128K Tiktoken BPE(文本压缩率提升 ~15%),全尺寸标配 GQA,将 RoPE 基频猛增至 θ=500,000 并结合分段频域缩放扩至 128K 长上下文;在 16K 张 H100 上以 4D 并行 训满 15T 精选词元,后训练全面转向更稳定的 SFT + DPO 迭代管线。
  4. LLaMA 4(2025.04,Scout 109B/17B & Maverick 400B/17B)——MoE、iRoPE 与早期多模态:告别纯稠密,转向 16/128 专家 + 1 共享专家的交替 MoE 架构;首创 iRoPE(局部 Chunked RoPE 与全局无位置编码 NoPE 交替排布)配合推理期注意力温度缩放,将 Scout 有效窗口推至史无前例的 10M 词元;并采用早期融合(Early Fusion)将图像与文本统一送入共享骨干。

核心原理与关键架构演进剖析 ​

1. 黄金三件套与推理最优过训练(LLaMA 1 → 3) ​

LLaMA 1 确立的标准 Decoder Block 数学形式成为后续几乎所有开源模型的共同基线:

h′=x+GQA(RoPE(RMSNorm(x))),y=h′+SwiGLU(RMSNorm(h′))

其中 SwiGLU 放弃标准 4d 隐维而采用 83d(并向上对齐至 256/1024 倍数)以维持与双矩阵 FFN 相同的参数量。在训练配比上,LLaMA 3 8B 吃下 15T 词元(达到约 1875× 参数量的极端过训练),在推理阶段以极小显存开销释放出接近前代 70B 级别的语言能力,深刻改写了业界对 缩放定律 的工程理解。

2. ABF 与分段频率平滑:LLaMA 3.1 的 128K 扩张 ​

为了在不重训全量短文本的前提下把 8K 上下文无损扩至 128K,LLaMA 3.1 延续了 ABF(Adjusted Base Frequency) 思路,先将 RoPE 基础频率从 104 提至 5×105,再在退火长文本阶段对各维度旋转波长 λi=2π/θi 施加平滑分段缩放(类似 YaRN 的高频保留、低频插值):

θi′={θi,λi<Lold/α(高频保留局部精细度)θi/s,λi>Lold/β(低频压缩容纳长距依赖)(1−γi)θi/s+γiθi,中频线性平滑过渡

其中 s 为窗口扩展倍率,同时配合文档边界隔离的 Intra-Document Masking 防止拼接样本间产生虚假跨文档注意力。

3. LLaMA 4 的 iRoPE:局部 RoPE + 全局 NoPE + 温度缩放 ​

常规全层 RoPE 在迈向百万级词元(如 10M)时,即使做基频外推仍面临长距衰减与全局计算爆炸。LLaMA 4 提出的 iRoPE(Interleaved RoPE / Infinite RoPE) 由三项机制协同组成:

  1. 交替层排布:每 4 层为一组,前 3 层采用带 RoPE 的局部块注意力(Chunked Local Attention,块大小 8K) 捕捉高精度邻域句法;第 4 层彻底移除位置编码(NoPE),执行全局全注意力负责跨百万词元的信息检索,且完全消除长距 RoPE 相位失真。
  2. 推理期注意力温度缩放(Attention Temperature Scaling):在极长序列下,NoPE 全局层的 Softmax 分布会因词元数 t 暴增而变得平坦(注意力熵坍塌)。LLaMA 4 在推理时动态锐化查询向量尺度:q~t=qt⋅(1+β⋅log(1+⌊tsfloor⌋))随位置 t 对数级放大查询幅值,防止长程关键“针(Needle)”被海量上下文淹没。
  3. 交替 MoE + 共享专家与 MetaP:LLaMA 4 借鉴 μP 超参迁移 提出 MetaP,在小模型上标定学习率与初始化方差后零调参迁移至百亿激活 MoE;Maverick 每隔一层布置 128 路由专家(Top-1)+ 1 共享专家,兼顾单卡/单机 FP8 部署与超大容量。

四代架构演进数据流对比图 ​

图表加载中...

LLaMA 四代核心参数与规格演进账本 ​

演进维度LLaMA 1 (65B)LLaMA 2 (70B)LLaMA 3.1 (405B)LLaMA 4 Maverick (400B)
架构形态稠密 Dense稠密 Dense稠密 Dense交替 MoE (17B 激活 / 128E+1S)
层数 / 隐维 d80 / 819280 / 8192126 / 1638448 / 5120
注意力与 KV 头MHA (64/64)GQA (64/8)GQA (128/8)iRoPE GQA(局部 8K + 全局 NoPE)
位置编码基频RoPE (θ=104)RoPE (θ=104)ABF RoPE (θ=5×105)iRoPE + 对数温度缩放
词表大小32K (SentencePiece)32K (SentencePiece)128K (Tiktoken BPE)200K+ (多语种/多模态统一)
最大上下文2K4K128K1M(Scout 达 10M)
预训练词元量1.4T2.0T15.6T22T–40T(多模态混合)
核心后训练范式无官方对齐版SFT + 多轮 PPO RLHF多轮 SFT + 拒绝采样 + DPO轻量 SFT + 在线 RL + 轻量 DPO

核心 PyTorch 参考实现(LLaMA 4 iRoPE 局部/全局交替块) ​

下面用精简 PyTorch 代码展示 LLaMA 4 iRoPE(局部块 RoPE vs. 全局 NoPE + 推理温度缩放) 与 GQA + SwiGLU 的核心逻辑:

python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F


class RMSNorm(nn.Module):
    def __init__(self, d: int, eps: float = 1e-5):
        super().__init__()
        self.weight = nn.Parameter(torch.ones(d))
        self.eps = eps

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return x * torch.rsqrt(x.pow(2).mean(-1, keepdim=True) + self.eps) * self.weight


def apply_rope(x: torch.Tensor, base: float = 500000.0) -> torch.Tensor:
    # x: [B, H, T, Dh]
    T, Dh = x.size(2), x.size(3)
    inv_freq = 1.0 / (base ** (torch.arange(0, Dh, 2, device=x.device).float() / Dh))
    pos = torch.arange(T, device=x.device).float()
    freqs = torch.outer(pos, inv_freq)
    cos, sin = freqs.cos()[None, None, :, :], freqs.sin()[None, None, :, :]
    x1, x2 = x[..., 0::2], x[..., 1::2]
    return torch.stack([x1 * cos - x2 * sin, x1 * sin + x2 * cos], dim=-1).flatten(-2)


class Llama4InterleavedAttention(nn.Module):
    """LLaMA 4 iRoPE 注意力:局部层用 RoPE+块掩码,全局层用 NoPE+对数温度缩放"""
    def __init__(self, d=256, n_heads=8, n_kv_heads=2, use_rope=True, chunk_size=32, temp_beta=0.1, floor_scale=64):
        super().__init__()
        self.n_heads, self.n_kv_heads = n_heads, n_kv_heads
        self.dh = d // n_heads
        self.use_rope, self.chunk_size = use_rope, chunk_size
        self.temp_beta, self.floor_scale = temp_beta, floor_scale
        self.wq = nn.Linear(d, n_heads * self.dh, bias=False)
        self.wk = nn.Linear(d, n_kv_heads * self.dh, bias=False)
        self.wv = nn.Linear(d, n_kv_heads * self.dh, bias=False)
        self.wo = nn.Linear(d, d, bias=False)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        B, T, _ = x.shape
        q = self.wq(x).view(B, T, self.n_heads, self.dh).transpose(1, 2)
        k = self.wk(x).view(B, T, self.n_kv_heads, self.dh).transpose(1, 2)
        v = self.wv(x).view(B, T, self.n_kv_heads, self.dh).transpose(1, 2)

        if self.use_rope:
            q, k = apply_rope(q), apply_rope(k)
            # 局部块因果掩码:仅允许关注同一 chunk 内的历史词元
            idx = torch.arange(T, device=x.device)
            causal = idx[:, None] >= idx[None, :]
            same_chunk = (idx[:, None] // self.chunk_size) == (idx[None, :] // self.chunk_size)
            attn_mask = causal & same_chunk
        else:
            # NoPE 全局层:不施位置编码,按位置对数锐化查询尺度抑制长窗熵坍塌
            pos = torch.arange(T, device=x.device).float()
            scales = 1.0 + self.temp_beta * torch.log1p(torch.floor(pos / self.floor_scale))
            q = q * scales.view(1, 1, T, 1)
            attn_mask = None  # 走标准全局因果掩码

        rep = self.n_heads // self.n_kv_heads
        k, v = k.repeat_interleave(rep, dim=1), v.repeat_interleave(rep, dim=1)
        out = F.scaled_dot_product_attention(q, k, v, attn_mask=attn_mask, is_causal=(attn_mask is None))
        return self.wo(out.transpose(1, 2).contiguous().view(B, T, -1))

工程实践与常见陷阱 ​

工程实践

  1. 词表扩容必须匹配充分的预训练词元量:LLaMA 3 将词表从 32K 暴增至 128K,Embedding 与 LM Head 参数瞬间多出约 10B(405B 规模下占比仍可控),之所以效果极佳,是因为 15T 词元让每个新增多语种与代码子词都获得了充足的梯度更新。
  2. 用 DPO 替代重型 PPO 降低大集群对齐复杂度:LLaMA 3.1 405B 实践表明,在百亿到四千亿规模上,用多轮“拒绝采样 + DPO”替代需要在线运行 4 份模型的 PPO,能以远低得多的系统工程成本获得更稳定的指令遵循能力。
  3. 长上下文训练严防跨文档污染:LLaMA 3 与 4 在把多篇短文档拼接进长序列打包(Packing)时,都在 FlashAttention 层强制注入文档内注意掩码(Intra-Document Attention Mask),避免模型把前一篇文档的结尾误当成后一篇文档的上下文。

常见陷阱

  1. 盲目直接照搬 10M 窗口而忽略 KV Cache 与 NoPE 边界:LLaMA 4 Scout 虽支持 10M 上下文,但 NoPE 全局层的 KV 显存仍随长度线性增长,生产部署仍需借助局部层丢弃旧块 + 全局层 FP8 KV 量化 与 PagedAttention 协同控显存。
  2. 微调 LLaMA 3/4 时忘调 RoPE 基频或漏改分词器特殊词元:LLaMA 3 起全面切换为 Tiktoken 128K 词表与 <|begin_of_text|> / <|eot_id|> 对话模板,且 RoPE θ=500,000;若沿用 LLaMA 2 的 10000 基频或旧版 SentencePiece 模板,长文本困惑度会瞬间崩塌。
  3. 误把 405B 稠密训练的运维复杂度低估:LLaMA 3 405B 16K H100 集群训练报告披露,54 天内发生了 419 次非计划中断(近半数源于 GPU/HBM 硬件故障);超大规模训练的核心壁垒往往不在公式而在自动化容错、健康巡检与静默数据损坏(SDC)检测。

延伸阅读与参考论文 ​

  • LLaMA 1 奠基论文:Touvron et al., LLaMA: Open and Efficient Foundation Language Models, 2023 (arXiv:2302.13971 ↗).
  • LLaMA 2 商用与对齐:Touvron et al., Llama 2: Open Foundation and Fine-Tuned Chat Models, 2023 (arXiv:2307.09288 ↗).
  • LLaMA 3 旗舰全栈报告:Grattafiori et al., The Llama 3 Herd of Models, 2024 (arXiv:2407.21783 ↗).
  • ABF 长上下文与 NoPE 理论支撑:Xiong et al., Effective Long-Context Scaling of Foundation Models, NAACL 2024 (arXiv:2309.16039 ↗); Kazemnejad et al., The Impact of Positional Encoding on Length Generalization in Transformers, NeurIPS 2023 (arXiv:2305.19466 ↗).
  • LLaMA 4 官方发布与架构说明:Meta AI, The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation, April 2025 (Meta AI Blog ↗).