Skip to content

DeepSeek-V2 / V3 / R1 全栈架构剖析

整车拆解 DeepSeek-V2/V3/R1 协同 MLA、细粒度 MoE、MTP、FP8 与 GRPO 的全栈设计。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 为什么要整车剖析 DeepSeek-V2 / V3 / R1?

单个算法模块学起来像散落的汽车零件,而 DeepSeek-V2 / V3 / R1 系列 是现代大模型史上把“算法创新与底层硬件系统协同设计”做到极致的教科书级整车样本。

它用 MLA 把 KV Cache 压缩 93%、用 细粒度共享专家 MoE + 无辅助损失路由 做大总参数、用 MTP + 细粒度 FP8 + DualPipe 把 671B 模型预训练成本压到惊人低位,最后用 纯 RLVR + GRPO 激发出顶尖长思维链推理——读懂这一辆“整车”,全站一半核心算法立刻融会贯通。

01 问题从何而来:怎么用“十分之一的预算”造出一台顶级旗舰? ​

2024 年底,业界普遍认为想训出一台比肩闭源顶级旗舰的大模型,至少需要几万张顶级 GPU 和上亿美元算力账单。然而 DeepSeek-V3(DeepSeek-AI, 2024 ↗)带着一份令硅谷震动的账单横空出世:总参数 671B、吃掉 14.8 万亿词元,全程正式预训练只用了约 278.8 万 H800 GPU 小时(折合不到 560 万美元),全程零崩溃、零回滚。

紧接着,在其基座上诞生的 DeepSeek-R1(DeepSeek-AI, 2025 ↗)又以纯强化学习让开源推理能力一步追平顶级闭源模型,直接引爆全球测试时推理(Test-Time Compute)热潮。

很多人以为 DeepSeek 是靠某一项神秘黑科技“一招鲜”,其实恰恰相反——它的真正厉害之处在于整车级系统工程协同:把过去分散在不同论文里的组件重新改造、彼此咬合,同时击穿大模型的三堵高墙(显存墙、算力墙与跨机通信墙)。

类比 · F1 赛车的整车调校,而非单改一台发动机

造顶级大模型很像造一辆 F1 赛车。只把发动机马力翻倍(硬堆参数)是没有用的——油箱太重(KV Cache 吃光显存)、轮胎抓地不住(MoE 专家排队堵车)、变速箱换挡卡顿(跨机通信拖慢集群),车照样跑不快。

DeepSeek-V3 相当于把整台车从头到尾协同重构了一遍:

  • MLA 负责给油箱极限瘦身,把长对话记忆压缩 90% 以上;
  • DeepSeekMoE 负责“按需点缸”,671B 大排量平时只点亮 37B;
  • 细粒度 FP8 让计算核心像装了涡轮增压,吞吐近乎翻倍;
  • DualPipe 像无缝双离合,把跨机器传数据的时间严丝合缝藏进算力间隙里。
核心设问

MLA、细粒度 MoE、MTP、FP8、DualPipe 和 GRPO 拆开看各自解决一个局部痛点,DeepSeek 团队是如何把这六大模块拼成一台 “训练零崩溃、推理地板价、后训练还能自发学会深度思考” 的超级整车的?

02 核心直觉:六大件如何环环相扣? ​

DeepSeek 从 V2(DeepSeek-AI, 2024 ↗)到 V3 再到 R1,每一步都在解最卡脖子的那颗螺丝:

类比 · 组合拳一:MLA(浓缩备忘录)+ 细粒度 MoE(256 位专科医生)
  • 为什么需要 MLA? 传统大模型聊到几万字时,每个注意力头都要把历史每个字的 Key 和 Value 记在小本本上,显存很快爆表。MLA 的绝招是先压成一张极窄的“万能浓缩底片”(512 维潜在向量),推理时只存这张底片,甚至连解压步骤都能通过矩阵乘法结合律提前揉进查询权重里——显存砍掉九成多,脑容量一点没缩水。
  • 为什么需要 256 选 8 + 1 共享专家? 传统粗粒度 MoE 像 8 位大而全的医生,每个人既要看感冒又要做手术;DeepSeekMoE 把它们拆成 256 位高度专精的小专科医生,再配 1 位全科护士(共享专家) 负责基础语法常识。更绝的是它砍掉了容易干扰主业的辅助惩罚项,改用 Aux-Loss-Free 动态偏置——谁忙就临时调低一点他的排班优先分,选完人干活时依然只看真本事!
类比 · 组合拳二:MTP“多看一步棋”+ FP8 精打细算 + DualPipe 双向对开
  • MTP(多词元预测):以前大模型每次只猜下一个字,容易目光短浅;V3 挂了一个轻量外挂,逼模型在猜第 1 个字的同时顺手预测第 2 个字。训练时它让模型学会提前规划句子骨架;到了推理阶段,这个外挂摇身一变成为免费的 投机解码 草稿员,次词元命中率高达 85%~90%,一口气提速约 1.8 倍!
  • 细粒度 FP8 与 DualPipe:把 16 位小数压成 8 位(FP8)本来极易失真,DeepSeek 不搞“一整块大矩阵共用一把尺子”,而是把激活按 1x128 分条、权重按 128x128 分块各自量身定尺,精度损失不到 0.25%;同时用 DualPipe 让微批数据在集群两端双向对开,把跨节点 InfiniBand 通信时间几乎全部埋进 GPU 计算间隙里。
类比 · 组合拳三:DeepSeek-R1-Zero 的“顿悟时刻”

有了 V3 这台底盘扎实的好车,R1 团队做了一个大胆实验:干脆撤掉人工手把手写解题步骤的 SFT 微调,直接用 GRPO / RLVR 给数学题和代码题对答案——同一道题让模型一口气答出 16 份,谁答对且规范套上 <think> 标签就多奖励、答错就扣分。

令人惊叹的一幕发生了:随着强化学习步数增加,模型自己学会了拉长思考草稿,并在解题卡壳时突然写出类似 “Wait, wait. That's an aha moment...” 的自我反思与推倒重来——这是大模型在纯结果激励下自发长出高级推理策略的历史性时刻。

03 把关键公式读成人话 ​

先看把推理显存打到骨折的 MLA 低秩压缩与解耦位置编码:

ctKV=WDKVht,ktC=WUKctKV,ktR=RoPE(WKRht)

**把公式读成直觉:**每个词元的隐状态 ht 进来后走两条极窄的通道:主通道把它压成 512 维的浓缩向量 ctKV 存进显存;另一条小通道只算一个 64 维、全注意力头共享的 RoPE 位置标签 ktR。为什么非要拆开?因为旋转位置编码会破坏矩阵结合律,把位置信息单独“拎出来挂在旁边”,剩下的 512 维内容就能优雅地被矩阵吸收掉,128 个满血注意力头每词元只占 576 个数的缓存!

再看让训练既提质又能免费加速推理的 MTP 联合训练目标:

Ltotal=Lmain+λ⋅1D∑k=1DLMTP(k)

**把公式读成直觉:**主损失 Lmain 负责老老实实预测紧挨着的下一个词元 xt+1,而 MTP 附加损失把“往后再看 k 步”的误差按权重 λ 揉进同一张反向传播网里。就像下象棋时强制新手每走一步都顺便预判对手下一招,长远布局能力自然涨上来,而且练出来的预判模块在推理时直接就能当免费加速草稿头用。

04 整车透视:671B 巨兽的参数与能力是怎么分工的? ​

把 DeepSeek-V3/R1 剖开看,每一项设计都在帮另一项兜底,形成罕见的系统闭环:

整车痛点DeepSeek 破局组件对应底层原理带来的直接红利
长上下文显存爆表MLA 低秩潜在注意力MQA / GQA / MLAKV 显存压缩 >90%,推理并发批大小暴涨
总参大但算不起256 选 8 + 1 共享 + 动态偏置稀疏混合专家 MoE671B 知识容量仅花 37B 激活算力
多机训练通信卡顿节点受限路由 + DualPipe流水线与专家并行2048 卡集群跨机通信近乎完全隐藏
算力成本太高1x128 / 128x128 细粒度 FP8混合精度训练训练吞吐逼近硬件极限,精度误差 <0.25%
复杂推理天花板R1-Zero / GRPO 纯规则奖励GRPO 与 RLVR涌现长 思维链 自省并可蒸馏到小模型

在真实线上推理部署中,DeepSeek 团队还将这套整车哲学延伸到了机群调度:

  • 第一步(读题 / Prefill 阶段):当你扔进一篇 10 万字长文档,Prefill 节点把 MLA 的浓缩底片临时还原,吃满 FlashAttention 算力高速读完所有背景;
  • 第二步(写答案 / Decode 阶段):进入逐字吐词后,Decode 节点立刻切换为矩阵吸收模式,直接拿查询向量点乘那条 512 维浓缩底片,省下九成多显存带宽;
  • 第三步(PD 分离 + 大规模 EP):把“读长文”和“吐字”拆给不同机器跑,Decode 侧用几十张卡把 256 个专家摊开、同时接住几百个并发请求,让每个细粒度专家都能成批满载运转;
  • 第四步(MTP 免费加速):每次主干吐出第 1 个字的同时,挂在尾部的 MTP 头顺手猜出第 2 个字,主模型一次前向顺便验完两步,白捡近 1.8 倍吞吐。

05 三个最容易被误解的真相 ​

  1. “557 万美元”是单次正式预训练的算力折价,而非研发总投入: 论文清清楚楚写着这笔账只算了 V3 最后那一趟 14.8T 词元的正式跑机小时费,不含前期架构摸索、消融实验、数据清洗与集群购置成本——但它依然货真价实地证明了单次前沿模型训练的算力门槛已被压低一个数量级。
  2. DeepSeek-V3 不是小显卡“随手可跑”的玩具: 激活参数只有 37B,意味着算得很快,但全部 671B 权重依然要完整装进显存(FP8 形态也需约 670GB 显存)。个人玩家通常跑的是 R1 蒸馏出来的 7B/14B/32B 稠密小模型,真正的满血 671B 依然需要多卡节点或专门的推理集群配合 量化 才能释放高并发威力。
  3. 小模型照抄 R1-Zero 纯强化学习往往适得其反: DeepSeek 团队亲自做过对比实验——在 32B 以下的较弱基座上硬跑纯 RL,推理涨幅远不如直接拿满血 R1 生成的高质量思考轨迹做 蒸馏微调。强大的推理跃迁,建立在足够扎实的预训练底盘之上。

如果把 DeepSeek-V2 / V3 / R1 当成一本“现代大模型系统工程教科书”,它的核心启示其实只有一句话:别孤立地看待算法公式和底层硬件——当你同时在 注意力、稀疏路由、低精度算术 与 跨机并行 四个维度上互相迁就、严丝合缝地对齐硬件边界时,原本看似不可逾越的算力鸿沟,就能被一整套精巧协同彻底跨过去。

想查看 DeepSeek-V3 完整 61 层参数账本、MLA 与 Aux-Loss-Free MoE 联动的整车数据流图,以及可直接运行的 DeepSeekV3Block PyTorch 实现?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

如果说早期开源大模型是在既有 Transformer 蓝图上比拼算力与数据堆料,那么 DeepSeek-V2 / V3 / R1 系列则代表了算法—系统—硬件三位一体的整车协同设计巅峰。它没有单点追求某一个华丽技巧,而是同时瞄准大模型全生命周期的三堵高墙——推理显存墙、前馈算力墙与跨节点通信墙,将 MLA、DeepSeekMoE、多词元预测(MTP)、细粒度 FP8 混合精度、DualPipe 流水线并行 与 GRPO 强化学习 严丝合缝地咬合进同一辆“整车”,在 14.8T 词元上仅耗费约 2.788M H800 GPU 小时(约 557.6 万美元算力折价)便训出比肩闭源旗舰的 671B 基座,并进一步借纯强化学习催生了震动行业的推理模型 DeepSeek-R1。

起源背景与演进脉络 ​

DeepSeek 系列的演进遵循清晰的“逐层攻坚、系统合龙”路线:

  1. DeepSeek LLM & DeepSeekMoE(2024.01):先从 缩放定律 重新标定超参分配规律,随后提出细粒度专家切分 + 共享专家隔离范式,在 16B 规模上以约 40% 计算量追平 LLaMA-2 7B。
  2. DeepSeek-V2(2024.05,236B 总参 / 21B 激活):直击 KV Cache 显存爆炸痛点,原创多头潜在注意力(MLA) 与解耦 RoPE,在将 KV 显存砍掉 93.3% 的同时,单层性能反超传统 MHA。
  3. DeepSeek-V3(2024.12,671B 总参 / 37B 激活):整车大合龙——在 MLA + DeepSeekMoE 上补齐 Aux-Loss-Free 动态偏置均衡、MTP 多词元预测、Tile/Block 级 FP8 原生训练与 DualPipe 双向零气泡流水线,全程 14.8T 词元预训练零 Loss Spike、零回滚。
  4. DeepSeek-R1(2025.01):在 V3-Base 上跳过传统 SFT 冷启动,直接以 GRPO / RLVR 训练 R1-Zero 验证了纯结果奖励即可自发涌现反思与回溯;再通过冷启动数据 + 多阶段 RL + 蒸馏,形成 R1 旗舰与 1.5B~70B 高性价比蒸馏家族。

整车核心原理与数学协同 ​

1. MLA:以低秩投影与权重吸收击穿 KV 显存墙 ​

标准 MHA/GQA 需为每层每词元缓存高维键值张量,而 DeepSeek-V2/V3 的 MLA 将输入隐状态 ht∈Rd 压缩进极窄的联合潜在向量 ctKV∈Rdc(V3 中 d=7168,dc=512),并对 RoPE 实行解耦旋转(Decoupled RoPE),仅额外保留单个共享位置键向量 ktR∈RdhR(dhR=64):

ctKV=WDKVht,ktC=WUKctKV,vtC=WUVctKV,ktR=RoPE(WKRht)

解码推理时无需显式还原 ktC,vtC,通过矩阵结合律将升维矩阵 WUK 吸收进查询投影 WUQ、将 WUV 吸收进输出投影 WO,每层每词元仅需缓存 (dc+dhR)=576 维向量,等效于仅 2.25 个 GQA 头的缓存量,却享有 128 个满血注意力头的表达力。

2. DeepSeekMoE + Aux-Loss-Free + 节点受限路由 ​

DeepSeek-V3 共 61 层:前 3 层采用稠密 SwiGLU 稳定浅层表征,其余 58 层采用 1 个共享专家 + 256 个细粒度路由专家(Top-8 激活)。路由打分改用独立 Sigmoid 替代 Softmax,并通过无梯度动态偏置 bi 消除传统负载均衡辅助损失对主梯度的破坏:

st,i=σ(ht⊤ei),T8(ht)=TopKnode≤4({st,i+bi},8),gt,i=st,i∑j∈T8st,j

为匹配 H800 集群的机间 InfiniBand 与机内 NVLink 带宽差异(约 1:3.2),V3 强制每个词元的 8 个路由专家最多分布在 4 个物理节点上(Node-Limited Routing),配合定制 PTX 跨节点通信内核与 DualPipe 双向流水调度,将 All-to-All 通信几乎完全隐藏在计算间隙之中。

3. MTP 多词元预测与细粒度 FP8 精度护航 ​

训练阶段引入顺序式 Multi-Token Prediction(MTP) 模块(深度 D=1):在主模型输出 ht(0) 之上,将 ht(0) 与真实下一词元嵌入 Emb(xt+1) 归一化拼接后经一层轻量 Transformer 预测 xt+2,总损失为:

Ltotal=Lmain+λ⋅1D∑k=1DLMTP(k)

MTP 不仅在训练期提供更稠密的未来规划监督信号,在推理阶段还可直接复用为免费草稿模型执行 投机解码,实测次词元接受率达 85%~90%,将生成吞吐提升约 1.8 倍。同时,为防止传统张量级 FP8 量化被激活异常值击穿,V3 采用 1x128 激活分条缩放 + 128x128 权重分块缩放,并借助定期向 CUDA Core 提升 FP32 累加精度消除 H800 Tensor Core 尾数截断误差,将 FP8 相对 BF16 的损失误差压低至 < 0.25%。

整车架构与数据流图 ​

图表加载中...

DeepSeek-V3 参数账本与代际对比 ​

架构维度 / 关键指标DeepSeek-V2 (2024.05)DeepSeek-V3 (2024.12)DeepSeek-R1 (2025.01)
总参数 / 单步激活参数236B / 21B671B / 37B671B / 37B(同 V3 底座)
层数 / 隐维 d / 头数 nh60 层 / 5120 / 128 头61 层(3 Dense + 58 MoE)/ 7168 / 128 头同 V3
MLA 压缩维度 (dc,dc′,dhR)512 / 1536 / 64512 / 1536 / 64同 V3
MoE 专家配置2 共享 + 160 路由(Top-6)1 共享 + 256 路由(Top-8,单专家 dff=2048)同 V3
负载均衡策略Aux Loss + 设备受限路由Aux-Loss-Free 偏置 + 极弱序列级均衡 + 节点受限同 V3
词表规模 / 上下文长度102.4K / 128K (YaRN)128K BPE / 128K (YaRN 扩展)128K / 128K(支持长 <think> 链)
预训练数据 / 精度 / 算力8.1T / BF1614.8T / 细粒度 FP8 / 2.788M H800 GPUhV3-Base + 大规模 GRPO RL

简化单层 DeepSeek-V3 Block 参考实现 ​

下面给出可独立运行的教学版 DeepSeekV3Block,完整串联 MLA 低秩 KV + 解耦 RoPE 与 共享+细粒度 Aux-Loss-Free MoE 两大核心子层:

python
import torch
import torch.nn as nn
import torch.nn.functional as F


class RMSNorm(nn.Module):
    def __init__(self, d: int, eps: float = 1e-6):
        super().__init__()
        self.weight = nn.Parameter(torch.ones(d))
        self.eps = eps

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return x * torch.rsqrt(x.pow(2).mean(-1, keepdim=True) + self.eps) * self.weight


class SimplifiedMLA(nn.Module):
    """教学版 MLA:低秩压缩 Q/KV + 解耦 RoPE 维度"""
    def __init__(self, d=256, n_heads=8, dc_q=96, dc_kv=64, dh_nope=24, dh_rope=8):
        super().__init__()
        self.n_heads, self.dh_nope, self.dh_rope = n_heads, dh_nope, dh_rope
        self.dh_qk = dh_nope + dh_rope
        self.w_dq = nn.Linear(d, dc_q, bias=False)
        self.q_norm = RMSNorm(dc_q)
        self.w_uq = nn.Linear(dc_q, n_heads * self.dh_qk, bias=False)

        self.w_dkv = nn.Linear(d, dc_kv, bias=False)
        self.kv_norm = RMSNorm(dc_kv)
        self.w_uk = nn.Linear(dc_kv, n_heads * dh_nope, bias=False)
        self.w_uv = nn.Linear(dc_kv, n_heads * dh_nope, bias=False)
        self.w_kr = nn.Linear(d, dh_rope, bias=False)  # 跨头共享解耦 RoPE 键
        self.w_o = nn.Linear(n_heads * dh_nope, d, bias=False)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        B, T, _ = x.shape
        c_q = self.q_norm(self.w_dq(x))
        q = self.w_uq(c_q).view(B, T, self.n_heads, self.dh_qk).transpose(1, 2)

        c_kv = self.kv_norm(self.w_dkv(x))  # 推理期只需缓存 c_kv 与 k_r
        k_nope = self.w_uk(c_kv).view(B, T, self.n_heads, self.dh_nope).transpose(1, 2)
        k_rope = self.w_kr(x).view(B, T, 1, self.dh_rope).transpose(1, 2).expand(-1, self.n_heads, -1, -1)
        k = torch.cat([k_nope, k_rope], dim=-1)  # 生产环境对 q_rope/k_rope 施加 RoPE
        v = self.w_uv(c_kv).view(B, T, self.n_heads, self.dh_nope).transpose(1, 2)

        out = F.scaled_dot_product_attention(q, k, v, is_causal=True)
        return self.w_o(out.transpose(1, 2).contiguous().view(B, T, -1))


class SwiGLU(nn.Module):
    def __init__(self, d: int, h: int):
        super().__init__()
        self.w1, self.w2, self.w3 = nn.Linear(d, h, False), nn.Linear(h, d, False), nn.Linear(d, h, False)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.w2(F.silu(self.w1(x)) * self.w3(x))


class DeepSeekV3Block(nn.Module):
    def __init__(self, d=256, n_experts=16, top_k=4, d_exp=128):
        super().__init__()
        self.norm1, self.mla = RMSNorm(d), SimplifiedMLA(d=d)
        self.norm2 = RMSNorm(d)
        self.shared = SwiGLU(d, d_exp)
        self.experts = nn.ModuleList([SwiGLU(d, d_exp) for _ in range(n_experts)])
        self.gate = nn.Linear(d, n_experts, bias=False)
        self.register_buffer("bias", torch.zeros(n_experts))
        self.top_k = top_k

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        x = x + self.mla(self.norm1(x))
        h = self.norm2(x).reshape(-1, x.size(-1))
        scores = torch.sigmoid(self.gate(h))
        _, idx = torch.topk(scores + self.bias, self.top_k, dim=-1)
        w = scores.gather(-1, idx)
        w = w / (w.sum(-1, keepdim=True) + 1e-9)
        routed = torch.zeros_like(h)
        for eid, exp in enumerate(self.experts):
            tok, slot = torch.where(idx == eid)
            if tok.numel():
                routed.index_add_(0, tok, exp(h[tok]) * w[tok, slot].unsqueeze(-1))
        return x + (self.shared(h) + routed).view_as(x)

工程实践与常见陷阱 ​

工程实践

  1. 整车级成本账本在于“显存—通信—算力”同步减压:DeepSeek-V3 的低成本并非单一模块之功——MLA 省下长上下文 KV 显存以放大推理批大小,FP8 把 Tensor Core 算力翻倍,MoE 把单词元计算降到 37B,DualPipe 把 64 路专家并行通信隐藏到几乎零气泡;拆开任意一环都会让集群利用率骤降。
  2. FP8 训练必须配合高精累加与保留模块:Embedding、输出头、MoE 门控、归一化与注意力算子保持 BF16/FP32,且主权重与优化器状态保留高精存储,避免低精度下溢导致长程训练发散。
  3. 推理部署用 PD 分离 + 大规模 EP:生产部署 DeepSeek-V3/R1 推荐将 Prefill 与 Decode 节点解耦(PD Disaggregation),Decode 侧用大专家并行(如 EP32/EP64)把 256 个专家平摊到足够多 GPU 显存中并拉大并发批大小。

常见陷阱

  1. 忽略 MLA 在 Prefill 与 Decode 的双模式切换:Prefill 阶段长序列计算受算力限制,应显式还原 K,V 走标准 FlashAttention;Decode 阶段受显存带宽限制,才应切换为权重吸收(Matrix Absorption)模式直接点乘 ctKV。混用会导致 Prefill 算力暴增。
  2. 用单机小并发评测 MoE 吞吐:671B 参数即使量化到 FP8 仍需近 670GB 显存,单请求(BS=1)时受 HBM 带宽掣肘,速度未必快过 32B 稠密模型;必须在大批并发与长上下文场景下才能体现 MLA + MoE 的压倒性吞吐优势。
  3. 复现 R1-Zero 时忽视基础模型底蕴:DeepSeek-R1 论文明确指出,小参数基座(如 7B/14B)直接跑纯 RL 远不如直接从强推理大模型蒸馏有效——只有当基座先验知识足够扎实(如 V3-Base),纯 GRPO 才能稳定激发“顿悟时刻(Aha Moment)”。

延伸阅读与参考论文 ​

  • DeepSeek-V3 整车报告:DeepSeek-AI, DeepSeek-V3 Technical Report, 2024 (arXiv:2412.19437 ↗).
  • DeepSeek-V2 与 MLA 首创:DeepSeek-AI, DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model, 2024 (arXiv:2405.04434 ↗).
  • DeepSeek-R1 推理突破:DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025 (arXiv:2501.12948 ↗).
  • 细粒度共享专家与无辅损均衡:Dai et al., DeepSeekMoE, ACL 2024 (arXiv:2401.06066 ↗); Wang et al., Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts, 2024 (arXiv:2408.15664 ↗).
  • GRPO 与 MTP 理论溯源:Shao et al., DeepSeekMath, 2024 (arXiv:2402.03300 ↗); Gloeckle et al., Better & Faster Large Language Models via Multi-token Prediction, ICML 2024 (arXiv:2404.19737 ↗).