Skip to content

GRPO 与 RLVR:组相对策略优化、可验证强化学习与推理涌现

以组内相对优势取代 Critic 网络,并结合规则可验证奖励在大规模强化学习中涌现长思维链与自我反思能力。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是 GRPO 与 RLVR(可验证奖励强化学习)?

在数学、代码、逻辑推理领域,答案对不对根本不需要模糊的主观“裁判模型”猜——写个程序跑一遍单元测试、或核对最终数学表达式,就能给出 100% 客观准确的 0/1 可验证奖励(RLVR)。

GRPO(Group Relative Policy Optimization,DeepSeek-R1 核心算法) 在此基础上直接砍掉了最吃显存的 Critic 评论家模型:让模型对同一道题一口气生成一组(如 16 个)不同解法,把这组解法的得分互相减均值、除标准差,谁比组内平均做得好就鼓励谁,从而以极低显存成本涌现出惊人的长思维链反思能力。

01 问题从何而来:怎么让模型自己“顿悟”出长链深度推理? ​

在 DeepSeek-R1 惊艳世界之前,大家如果想把大模型训成数学和代码高手,往往会撞上三堵厚厚的墙:

  1. 照抄人类解题步骤(SFT)天花板太低:人工写高质量长思维链又贵又慢,而且模型最多学到标注员的套路,很难自己探索出更深的搜索策略。
  2. 靠神经奖励模型打分容易被“骗分”:一旦砸大算力跑长周期强化学习,聪明的模型很快就能摸透神经裁判的盲区,写出看似严谨、实则胡扯的“伪证明”来狂刷高分。
  3. 经典 RLHF-PPO 的 Critic 教练太贵又算不准:推理模型动辄先思考一两万字才给出最终答案,养一个同等大小的 Critic 网络直接吃掉一半显存;更糟的是,几万字里只要中间错了一个负号最终就得 0 分,Critic 根本猜不准第 3,521 个字到底值几分。
类比 · 裁掉天价私教,改用“同题小组赛 + 自动判卷机”

想象你在训练一名奥数选手:与其花天价雇一个贴身私教(Critic)在他每写一个字时瞎猜“这行草稿值几分”,再雇一个容易被字迹工整忽悠的文科裁判(神经 RM),不如换一套极简狠招——面对同一道题,让他一口气独立写出 16 份不同解法,直接塞进绝对铁面无私的自动阅卷机(算对了 +1,算错了 0);答对的解法相对全组平均分高出的部分直接记功,答错的记过!

这套组合拳,就是点燃现代推理模型革命的 GRPO(DeepSeekMath, 2024 ↗)与 RLVR(Tülu 3, 2024 ↗,DeepSeek-R1, 2025 ↗)。

核心设问

彻底砍掉 Critic 网络和神经奖励模型之后,仅靠“同题多答比相对分 + 确定性对错规则”,为什么能让纯基座模型自发学会停下来检查错误、拉长思考链,甚至涌现出惊人的“顿悟时刻(Aha Moment)”?

02 核心直觉与生活类比 ​

要真正理解 GRPO + RLVR 的威力,必须看清它背后两个相辅相成的引擎:

类比 · 班级相对排名(GRPO):再也不用猜绝对估值

假如今天抽到一道地狱级奥数题,模型一口气写的 16 份解法里只有 2 份算对了(平均分 0.125)。GRPO 直接把全组得分减去均值、除以标准差:那 2 份好不容易闯关成功的解法立刻拿到极高的正向优势(远超平均线),其余 14 份拿到微弱负向优势;反之,如果是一道简单题 14 份全对、2 份粗心算错,那 2 份粗心卷就会挨最重的板子。

同一道题的 G 条采样轨迹自己互为基线,瞬间替代了动辄几百亿参数的 Critic 网络!

类比 · 铁面判官倒逼出的“元认知顿悟”(RLVR 与 Aha Moment)

在 RLVR(可验证奖励强化学习) 里,数学题靠 SymPy 符号等价引擎校验,代码题进隔离沙箱跑隐藏单元测试,格式靠正则检查是否老老实实把思考写进 `<think>...</think>`、把答案写进 `<answer>...</answer>`。这里没有任何讨好裁判的捷径可走——对就是 1,错就是 0。

当 DeepSeek-R1-Zero 在这种毫无黑客漏洞的压力下跑了数千步后,神奇的事情发生了:没人教它怎么验算,它却发现“急着蒙答案总拿 0 分,而那些写到一半停下来喊一声 Wait, let me double check...、换条路重算的草稿,拿到 +1 的概率高得多”!于是强化学习不断正向放大这种行为,模型的测试时思考链从几百字自发长到上万字,学会了自我质疑、分步验算与路径回溯。

这背后还藏着一个极为深刻的新标度律拐点:过去大模型提升智力主要靠“训练时砸更多数据和更大参数”,而 GRPO + RLVR 解锁了“测试时算力扩展(Test-Time Compute Scaling)”——面对难题时,模型不再急于一口气吐出草率答案,而是把额外生成的几千个思考词元当成草稿纸,通过多路径试错与回溯换取质的准确率跃迁。

03 把关键公式读成人话 ​

GRPO 的组内相对优势只需一行初中统计学里的 Z-Score 标准化:

A^i,t=ri−mean({r1,…,rG})std({r1,…,rG})+ε

把公式读成直觉:- 面对同一道题 q,采样出 G 条轨迹 {o1,…,oG},验证器给出得分 {r1,…,rG}。

  • 第 i 条轨迹里的每一个字,都共享同一个组内相对优势 A^i,t:赢过本组平均线的整条推理链被整体加强,落后于平均线的被整体削弱。
  • 随后的策略更新沿用 PPO 的裁剪机制,但把 KL 散度挪到损失函数外面,采用恒保证非负、极低方差的 Schulman k3 估计器(Schulman, 2020 ↗):πrefπθ−log⁡πrefπθ−1≥0。因为对任何正数 u 恒有 u−log⁡u−1≥0,它彻底消除了传统对数比估算偶尔冒出负值的噪声干扰。

开源社区大规模复现时,DAPO(Yu et al., 2025 ↗)与 Dr. GRPO(Liu et al., 2025 ↗)敏锐揪出了原版 GRPO 公式里的几处暗病,把核心改进浓缩成四把精准手术刀:

A^iDr.GRPO=ri−mean({rj}),clip(ρi,t,1−0.2,1+0.28)

把公式读成直觉:1. 去掉分母标准差(Dr. GRPO):原版除以 std 会让“15 对 1 错”这种方差极小的极端题获得畸高梯度权重(难度偏置);去掉 std 后才回归严格无偏。 2. 非对称放宽上界 Clip-Higher(DAPO):像 "Wait" 这种初始概率只有 0.01 的关键反思词,对称裁剪 1+0.2 一步最多只让它涨到 0.012,把探索活活卡死;把上界放宽到 1+0.28 就能保住策略熵、防止探索早衰。 3. 动态过滤“死组”:全对或全错的题目组内优势全为 0(零梯度白跑算力),DAPO 直接过采样丢弃它们,保证每一批都有真刀真枪的胜负对比。 4. 去掉单条长度平均 1/|oi| 偏置:原版先除以单条字数,导致答错的回复越写越长反而每字挨的骂越轻!改成全局词元级平均(DAPO)或固定最大长度归一化(Dr. GRPO),彻底堵住错误答案无意义变长的漏洞。

04 它在模型里怎么工作 & 与上下游的关系 ​

GRPO + RLVR 不仅重塑了后训练,更直接打通了“强化学习 → 推理能力 → 蒸馏与智能体”的新一代工业飞轮。以 DeepSeek-R1 的四阶段落地方案为例,你可以清楚看到它如何与其他模块严丝合缝地咬合:

  1. 轻量冷启动 SFT:纯基座直训(R1-Zero)虽能涌现强推理,但常夹杂中英文混用、排版凌乱;先喂几千条可读性极佳的长 CoT 范例,给模型定好礼貌清晰的思考格式;
  2. 大规模 GRPO-RLVR:在海量数学、代码与逻辑题库上放开跑在线强化学习,拉满深度推理与自我纠错上限;
  3. 拒绝采样 + 通用对齐:用训好的推理模型筛选高质量轨迹,混入通用写作与安全数据做二次微调与通用偏好对齐;
  4. 向下赋能小模型与智能体:把涌现出的高质量长思维链轨迹通过知识蒸馏直接注入 7B/14B 小尺寸稠密模型,能瞬间大幅抬升小模型推理上限;而“代码沙箱 + 确定性环境反馈”的 RLVR 思路,也正无缝迁移到多轮工具执行环境的 Agent 端到端强化学习 中。

从横向演化看,它脱胎于 RLHF-PPO 的裁剪目标,用确定性规则验证器替代了易被攻破的神经奖励模型,并弥补了静态 DPO 无法自主探索新解题路径的短板。

05 演化对比与避坑备忘 ​

对比维度RLHF-PPO原版 GRPODAPODr. GRPO
Critic 网络必须(约 2× 显存)无无无
组优势计算GAE 逐词估值(ri−μ)/σ(ri−μ)/σ去标准差 ri−μ
裁剪区间对称 [0.8,1.2]对称 [0.8,1.2]非对称 [0.8,1.28]兼容 Clip-Higher
长度归一化词元级平均样本级(含 1/|oi| 偏置)全局词元级平均固定 1/Lmax 无偏
全对/全错组无专门过滤保留(零梯度浪费)动态过滤补采兼容动态过滤

复现 GRPO / RLVR 时,三条实战铁律千万记牢:

  1. 把题库控制在“跳一跳够得着”的难度区间:RLVR 的全部学习动力来自“同题既有对又有错”;上线前先离线测一遍当前模型通过率,剔除全对送分题和采样 64 次全灭的无解难题,专攻通过率 10% ~ 80% 的最近发展区。
  2. 大幅放宽甚至关掉 KL 惩罚:模型要从短回答蜕变成上万字长思考,分布必然发生巨变。沿用通用对话 RLHF 的大 β(如 0.05)会把参考绳勒得太死、封印思维链生长;推理 RL 通常只需极小 β(0.001)甚至如 DAPO 直接设 0。
  3. 严防“假阴性”与“沙箱逃逸”:脆弱的正则会把 1/2 和 0.5 误判成错题毁掉梯度;而没隔离干净的代码沙箱甚至会被聪明模型写出改环境变量或硬编码偷看测试集的黑客代码。验证器的健壮度,直接决定了 RLVR 的天花板。

需要查阅完整 GRPO 目标函数、Schulman k3 KL 推导、闭环流程图及兼容 DAPO/Dr. GRPO 的 PyTorch 实现?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

组相对策略优化(Group Relative Policy Optimization, GRPO)与基于可验证奖励的强化学习(Reinforcement Learning with Verifiable Rewards, RLVR)共同开启了大语言模型的“推理模型(Reasoning Model)”新时代。从 DeepSeekMath(2024 ↗)到引爆全球开源社区的 DeepSeek-R1-Zero / DeepSeek-R1(2025 ↗),研究者证明:无需人工标注海量思维链数据,也无需训练容易被攻破的神经奖励模型与庞大 Critic 网络(参见 RLHF-PPO),仅靠确定性规则裁判与大规模在线强化学习,大语言模型即可自发涌现出长思维链与测试时扩展、回溯验证与“顿悟时刻(Aha Moment)”。

直观理解

传统的 PPO 好比给每个学生单独配一名贴身私教(Critic)来逐字估值,成本极高;而 GRPO 则是“班级同题竞赛评分制”:面对同一道数学难题,让模型一口气独立写出 G 份不同解法(比如 16 份),交给绝对公正的自动阅卷机(RLVR,如公式等价校验器或代码单元测试)判定对错;无需任何私教估值,直接把同组里答对的解法相对组平均分的超额优势作为正向激励,把答错的作为负向抑制。

问题动机与演进背景 ​

在推理能力跃迁之前,传统 RLHF 面临三大难以逾越的瓶颈:

  1. Critic 显存与估值失准瓶颈:在长思维链(长达 8K 至 64K 词元)场景下,维护与策略同等规模的 Critic 模型消耗近半显存;更重要的是,当奖励仅在数万词元末尾出现一次且对单个符号错误极其敏感时,Critic 极难准确预测中间词元的真实状态价值。
  2. 神经奖励模型的奖励黑客灾难:一旦在大规模算力下长时间优化神经 ORM/PRM(见奖励建模),模型很快会学会利用奖励模型的盲区(例如编造看似严谨的伪证明来骗取高分),导致真实解题率崩溃。
  3. 人类示威数据的能力天花板:仅靠 SFT 模仿人类标注的思维链(或离线 DPO),模型的推理深度受限于人类标注员的水平与标注成本,无法通过自主试错发现超越人类直觉的搜索策略。

Shao 等人(2024 ↗)在 DeepSeekMath 中提出 GRPO,通过同提示多样本组内归一化彻底移除 Critic;2025 年 1 月,DeepSeek-R1-Zero(DeepSeek-AI, 2025 ↗)在纯基座模型上直接应用 GRPO + RLVR(概念亦在 Tülu 3 ↗ 中系统确立,仅含答案正确性与格式两项规则奖励),首次在开源界完整复现了测试时思考长度随 RL 步数自然增长、并自发习得反思与纠错能力的奇迹。随后,ByteDance Seed 团队的 DAPO(Yu et al., 2025 ↗)与 Dr. GRPO(Liu et al., 2025 ↗)深入剖析了原版 GRPO 在熵坍塌、梯度无效与长度偏置上的隐藏缺陷,进一步确立了现代大规模推理 RL 的标准配方。

核心原理与数学推导 ​

1. GRPO:无 Critic 组内相对优势与解析 KL 目标 ​

给定输入问题 q∼P(Q),GRPO 利用旧策略 πθold 对同一问题采样一组包含 G 条完整输出的轨迹 {o1,o2,…,oG}(典型值 G∈{8,16,64}),并由规则验证器或奖励函数分别给出标量得分 {r1,r2,…,rG}。

GRPO 摒弃价值网络,直接对组内得分做 Z-Score 标准化,作为第 i 条轨迹内所有词元 t 共享的相对优势 A^i,t:

A^i,t=ri−mean({r1,…,rG})std({r1,…,rG})+ε

随后,GRPO 最大化带 PPO 裁剪与显式无偏 KL 正则的代理目标:

JGRPO(θ)=Eq,{oi}i=1G∼πθold[1G∑i=1G1|oi|∑t=1|oi|(min(ρi,t(θ)A^i,t,clip(ρi,t(θ),1−ϵ,1+ϵ)A^i,t)−βDKL(πθ∥πref))]

其中 ρi,t(θ)=πθ(oi,t∣q,oi,<t)πθold(oi,t∣q,oi,<t)。

低方差非负 KL 估计器(Schulman k3 估计器):与 PPO 将 −βlog⁡(πθ/πref) 混入奖励不同,GRPO 直接将 KL 散度作为独立正则项加入损失,并采用恒保证非负且无偏的 k3 近似估计器:

DKL(πθ∥πref)≈πref(oi,t∣q,oi,<t)πθ(oi,t∣q,oi,<t)−log⁡πref(oi,t∣q,oi,<t)πθ(oi,t∣q,oi,<t)−1≥0

由于对任意 u>0 恒有 u−log⁡u−1≥0(当且仅当 u=1 取等号),该估计器彻底消除了朴素蒙特卡洛对数比估计中常见的负值噪声与高方差问题。

2. RLVR(可验证奖励强化学习)与 Aha Moment 涌现机制 ​

RLVR 的核心理念是在具备客观真值(Ground Truth)的领域(如竞赛数学、算法编程、逻辑谜题、形式化证明)完全放弃易被钻空子的神经奖励模型,转而使用确定性程序验证器构造二元或分级奖励:

  1. 准确性奖励(Accuracy Reward):
    • 数学题:使用符号代数引擎(如 SymPy / Math-Verify)提取指定答案框内的表达式,与标准答案做等价化简比对,正确得 +1,错误得 0;
    • 代码题:在隔离沙箱中编译执行模型代码并运行隐藏单元测试套件,全部通过得 +1(或按通过率给分)。
  2. 格式奖励(Format Reward):利用正则表达式检查输出是否严格遵循思考与作答分隔结构(例如将推理过程包裹在 `<think>...</think>` 内,最终结论置于 `<answer>...</answer>` 内)。

Aha Moment(顿悟时刻)的涌现动力学:在 DeepSeek-R1-Zero 的纯 RL 训练中,研究者并未规定模型必须思考多长或如何检查错误。但在经历数千步 RL 探索后,模型自发演化出显著的测试时算力扩展行为——平均回复长度从数百词元稳步攀升至上万词元,并在推理中途自发输出诸如 "Wait, wait. Wait. That's an aha moment I can flag here..." 的自我质疑、分步验算与路径回溯。其根本动力学在于:面对难题时,能停下来检查中间矛盾并换路重算的轨迹,获得最终 +1 规则奖励的期望概率远高于草率作答的短轨迹;在无黑客漏洞的 RLVR 压力下,这种元认知搜索策略被策略梯度持续正向放大。

3. DAPO 与 Dr. GRPO:原版 GRPO 的四大系统性修正 ​

随着开源社区复现大规模 RLVR,研究者迅速暴露了原版 GRPO 公式中潜藏的工程与数学缺陷,并由 DAPO(Decoupled Clip and Dynamic sAmpling Policy Optimization) 与 Dr. GRPO(GRPO Done Right) 给出了精准解法:

  1. Clip-Higher(非对称解耦裁剪,DAPO):
    • 病灶:原版对称裁剪 [1−ϵ,1+ϵ](ϵ=0.2)严重压制了低概率探索性词元的概率提升——例如一个初始概率仅 0.01 的关键反思词(如 "Wait"),单步最多只能涨到 0.012,而原本概率 0.9 的高频词却能直接涨到 1.0,导致策略熵极速坍塌(Entropy Collapse),模型迅速停止探索。
    • 修正:解耦上下裁剪边界,保持 ϵlow=0.2 而显著放宽上界 ϵhigh=0.28,给予低概率有益推理词元更充裕的上升空间。
  2. Dynamic Sampling(动态过采样过滤,DAPO):
    • 病灶:当一个问题对当前模型太简单(组内 G 条全对,ri≡1)或太难(全错,ri≡0)时,组内所有样本的优势 A^i,t≡0!随着训练推进,批次中越来越多全对样本变成零梯度“死样本”,导致有效批次缩水、梯度方差暴增。
    • 修正:持续过采样并丢弃准确率等于 0 或 1 的题目,保证每个训练批次中所有提示均满足 0<|{oi 正确}|<G,维持稳定的有效梯度信噪比。
  3. Token-Level 策略梯度损失(DAPO):
    • 病灶:原版 GRPO 先除以单条轨迹长度 1|oi| 再对组内求平均(Sample-level Mean)。这导致长推理链中每个词元的梯度权重被大幅稀释,模型既难以从高质量长推理中学到精髓,也无法有效惩罚冗长废话与复读错误。
    • 修正:改为全局词元级损失平均(Token-Level Mean),即分子对所有组内所有词元求和,分母除以总词元数 ∑i=1G|oi|。
  4. 移除长度与标准差双重偏置(Dr. GRPO):
    • 病灶:Liu 等人(2025)指出原版 GRPO 的 1|oi| 项会制造隐蔽的长度偏置——对于负优势样本(A^i<0),拉长废话反而会因为分母 |oi| 变大而减小单位惩罚,意外诱导错误回答越来越长!此外,除以组内标准差 std({ri}) 会让接近全对或全错(方差极小)的极端题获得畸高梯度权重(难度偏置)。
    • 修正(Dr. GRPO):移除分母上的 std 归一化,仅做零均值中心化 A^i=ri−mean({rj}),并将每条序列损失的归一化常数替换为固定的最大生成长度 Lmax,在保持无偏性的同时彻底抑制错误回复的无意义拉长。

算法架构与数据流图 ​

以下流程图展示了现代 GRPO + RLVR(融合 DAPO/Dr. GRPO 改进) 的完整闭环训练架构:

图表加载中...

复杂度与横向对比表 ​

下表对 PPO、原版 GRPO、DAPO 与 Dr. GRPO 在推理强化学习中的数学机制与工程表现进行系统对比:

特性维度RLHF-PPO原版 GRPO (DeepSeekMath)DAPO (ByteDance Seed)Dr. GRPO (Sea AI Lab)
Critic 网络必须(约 2x 显存与算力)无(省去整套 Critic)无无
优势函数估计GAE(词元级精细估值)组内 (ri−μ)/σ组内 (ri−μ)/σ去标准差无偏中心化 ri−μ
裁剪机制对称 [1−ϵ,1+ϵ]对称 [1−ϵ,1+ϵ]非对称 Clip-Higher [1−0.2,1+0.28]对称或兼容 Clip-Higher
损失聚合方式词元级平均样本级平均(含 1/|oi| 偏置)全局词元级平均固定常数 1/Lmax 归一化
零梯度样本处理无专门过滤保留(产生大量零梯度浪费)动态采样过滤全对/全错组兼容动态过滤
KL 散度正则注入逐词元奖励显式 k3 估计器常置 β=0 释放长思维链探索可选移除 β=0

核心 PyTorch 参考实现 ​

下面的自包含 PyTorch 代码完整实现了 GRPO 组内优势(兼容 Dr. GRPO 无偏模式)、Schulman k3 非负 KL 估计器、DAPO Clip-Higher 非对称裁剪、动态全对/全错组过滤以及 Token-Level 聚合损失:

python
import torch
from typing import Dict, Tuple


def compute_group_advantages(
    rewards: torch.Tensor,
    group_size: int,
    remove_std_norm: bool = False,
    eps: float = 1e-6,
) -> Tuple[torch.Tensor, torch.Tensor]:
    """
    计算组内相对优势,并生成 DAPO 动态采样有效组掩码。
    rewards: [B_groups * G] 扁平化的组采样奖励
    group_size: 每道题采样轨迹数 G
    remove_std_norm: False 为标准 GRPO (Z-Score),True 为 Dr. GRPO (无偏去标准差)
    return: (advantages [B_groups * G], active_mask [B_groups * G])
    """
    grouped = rewards.view(-1, group_size)            # [num_groups, G]
    mean = grouped.mean(dim=1, keepdim=True)          # [num_groups, 1]
    std = grouped.std(dim=1, keepdim=True, unbiased=False)  # [num_groups, 1]

    # DAPO Dynamic Sampling 掩码:过滤掉组内全对或全错(方差为 0)的死样本
    active_groups = (std > 1e-6).expand_as(grouped)   # [num_groups, G]

    if remove_std_norm:
        adv = grouped - mean                          # Dr. GRPO 无难度偏置优势
    else:
        adv = (grouped - mean) / (std + eps)          # 标准 GRPO 优势

    return adv.reshape(-1), active_groups.reshape(-1)


def schulman_k3_kl(
    policy_logprobs: torch.Tensor,
    ref_logprobs: torch.Tensor,
) -> torch.Tensor:
    """
    计算恒非负、低方差的 Schulman k3 KL 散度近似估计:
    D_KL(pi || ref) approx exp(log_ref - log_pi) - (log_ref - log_pi) - 1
    输入形状均为 [N, T]。
    """
    log_r = (ref_logprobs - policy_logprobs).clamp(min=-20.0, max=20.0)
    return torch.exp(log_r) - log_r - 1.0


def grpo_dapo_loss(
    new_logprobs: torch.Tensor,
    old_logprobs: torch.Tensor,
    ref_logprobs: torch.Tensor,
    rewards: torch.Tensor,
    response_mask: torch.Tensor,
    group_size: int,
    clip_low: float = 0.2,
    clip_high: float = 0.28,
    kl_beta: float = 0.01,
    token_level_loss: bool = True,
    dr_grpo_mode: bool = False,
) -> Tuple[torch.Tensor, Dict[str, float]]:
    """
    统一的 GRPO / DAPO / Dr. GRPO 损失函数实现。
    new_logprobs, old_logprobs, ref_logprobs, response_mask: [N, T], N = num_groups * G
    rewards: [N]
    """
    advantages, active_mask = compute_group_advantages(
        rewards, group_size=group_size, remove_std_norm=dr_grpo_mode
    )  # [N], [N]

    # 将序列级优势广播到每个生成词元,并屏蔽零梯度死组
    eff_mask = response_mask * active_mask.float().unsqueeze(1)  # [N, T]
    adv_expanded = advantages.unsqueeze(1)                       # [N, 1]

    # 重要性采样比率与 DAPO 非对称 Clip-Higher 裁剪
    log_ratio = (new_logprobs - old_logprobs).clamp(min=-20.0, max=20.0)
    ratio = torch.exp(log_ratio)                                 # [N, T]
    clipped_ratio = torch.clamp(ratio, 1.0 - clip_low, 1.0 + clip_high)

    pg_loss1 = -adv_expanded * ratio
    pg_loss2 = -adv_expanded * clipped_ratio
    per_token_pg = torch.maximum(pg_loss1, pg_loss2)             # [N, T]

    # 可选 k3 KL 正则项(DAPO 在长思维链 RLVR 中常设 kl_beta=0.0)
    per_token_kl = schulman_k3_kl(new_logprobs, ref_logprobs) if kl_beta > 0.0 else torch.zeros_like(per_token_pg)
    per_token_loss = per_token_pg + kl_beta * per_token_kl       # [N, T]

    if token_level_loss:
        # DAPO 词元级平均:避免长轨迹梯度被单条长度稀释
        loss = (per_token_loss * eff_mask).sum() / eff_mask.sum().clamp(min=1.0)
    else:
        # 原版 GRPO 样本级平均
        seq_lens = response_mask.sum(dim=1).clamp(min=1.0)
        seq_loss = (per_token_loss * eff_mask).sum(dim=1) / seq_lens
        loss = seq_loss.sum() / active_mask.float().sum().clamp(min=1.0)

    metrics = {
        "active_group_ratio": active_mask.float().mean().item(),
        "mean_kl": ((per_token_kl * eff_mask).sum() / eff_mask.sum().clamp(min=1.0)).item(),
        "clip_frac": (((ratio < 1.0 - clip_low) | (ratio > 1.0 + clip_high)).float() * eff_mask).sum().item()
        / eff_mask.sum().clamp(min=1.0).item(),
    }
    return loss, metrics


if __name__ == "__main__":
    torch.manual_seed(2025)
    num_groups, G, T = 3, 4, 48
    N = num_groups * G

    # 第 0 组全错(将被过滤),第 1 组半对半错,第 2 组全对(将被过滤)
    rewards = torch.tensor([0., 0., 0., 0., 1., 0., 1., 0., 1., 1., 1., 1.])
    old_lp = torch.randn(N, T) * 0.1 - 1.5
    ref_lp = old_lp + torch.randn(N, T) * 0.05
    new_lp = (old_lp + torch.randn(N, T) * 0.03).requires_grad_(True)
    mask = torch.ones(N, T)

    loss, stats = grpo_dapo_loss(
        new_lp, old_lp, ref_lp, rewards, mask,
        group_size=G, clip_low=0.2, clip_high=0.28, kl_beta=0.01,
        token_level_loss=True, dr_grpo_mode=True,
    )
    print(f"GRPO/DAPO Loss: {loss.item():.4f} | Metrics: {stats}")

工程实践与常见陷阱 ​

工程实践

  1. 冷启动 SFT + 多阶段 RL(DeepSeek-R1 范式):虽然纯基座直接做 RLVR(R1-Zero)能够涌现出极强推理力,但往往伴随语言混杂(中英文夹杂)、排版混乱与可读性差等问题。工业级落地标准流程是先用数千条高可读性的长 CoT 数据做轻量冷启动 SFT,再进行大规模 RLVR,最后利用拒绝采样合并通用对话数据做全场景对齐,并可将推理轨迹通过知识蒸馏迁移到小尺寸模型上,甚至进一步延伸至带沙箱反馈的 Agent 工具调用强化学习。
  2. 数据难度课程与去污染:RLVR 的学习信号严格依赖于 Pass@G 与 Pass@1 之间的差值。若题目过易(全对)或过难(采样 64 次依然全错),模型完全无法获得有效梯度。上线前应对题库按当前模型通过率做离线分层,重点保留通过率在 10%∼80% 之间的“最近发展区”题目。
  3. 软性超长惩罚(Overlong Reward Shaping):直接对触及 max_length 截断的回复统一打 0 分会引入严重梯度噪声(模型可能前 95% 都推理正确,只差最后一行写答案)。DAPO 提出的做法是设置缓冲区间 [Lmax−Lcache,Lmax],在缓冲带内随长度线性平滑扣分,并屏蔽彻底截断样本的反向损失。

常见陷阱

  1. 数学与代码规则验证器的“假阴性”与“奖励漏洞”:脆弱的正则提取器会把等价答案(如 1/2 与 0.5、x+1 与 1+x)误判为错误,严重误导梯度;反之,若代码沙箱未限制网络、文件系统或异常捕获,模型甚至可能写出修改测试环境或硬编码输出特定样例的“黑客代码”来绕过单测。验证器必须配备强健的符号化简库与完全隔离的容器沙箱。
  2. 过大的 KL 惩罚锁死测试时长度扩展:在推理模型训练中,策略分布需要从短回答大幅迁移到长思维链反思分布。若沿用通用对话 RLHF 的大 KL 系数(如 β=0.05∼0.1),参考模型会死死拉住策略,导致思维链无法拉长、推理上限被彻底封印;实践中通常采用极小 β(0.001∼0.005)甚至如 DAPO 直接设 β=0。
  3. 仅看单条 Pass@1 而忽视策略熵监控:若训练前期策略熵(Entropy)迅速跌破 0.1,模型会在局部最优解上过早收敛,丧失通过多路径试错发现新解法的能力。应严密监控熵曲线,配合 Clip-Higher、提高采样温度(如 temperature=1.0)或定期从历史检查点引入熵正则来维持探索活力。

延伸阅读与参考论文 ​

  • Shao, Z., Wang, P., Zhu, Q., et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300 ↗
  • DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948 ↗
  • Lambert, N., Morrison, J., Pyatkin, V., et al. (2024). Tülu 3: Pushing Frontiers in Open Language Model Post-Training (RLVR). arXiv:2411.15124 ↗
  • Yu, Q., Zhang, Z., Zhu, R., et al. (2025). DAPO: An Open-Source LLM Reinforcement Learning System at Scale. arXiv:2503.14476 ↗
  • Liu, Z., Chen, C., Li, W., et al. (2025). Understanding R1-Zero-Like Training: A Critical Perspective (Dr. GRPO). arXiv:2503.20783 ↗
  • Schulman, J. (2020). Approximating KL Divergence. Technical Blog Note ↗