Skip to content

奖励建模(Reward Modeling):Bradley-Terry、ORM/PRM 与奖励黑客

将人类主观偏好或逐步推理正确性编码为标量或生成式评价信号,是强化学习对齐与测试时搜索的裁判核心。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是奖励模型(Reward Model / ORM / PRM)?

在强化学习阶段,大模型每写完一段回答,都需要有人给它打个分,告诉它这段回答“好不好、对不对、安不安全”。但让人类专家实时给几百万条生成结果逐条打分根本不现实。

奖励模型(Reward Model) 就是用人类偏好对比数据练出来的“自动打分裁判”:读完一段问答后输出一个标量好坏分。按打分粒度不同,只看最终答案给总分的叫 ORM(结果奖励),能盯着推理每一步抓错的叫 PRM(过程奖励)。

01 问题从何而来:好回答没法写进 if-else,怎么让 AI 当“裁判”? ​

做完监督微调(SFT)之后,模型已经会按格式回答问题了。可要想让它真正变得“有用、诚实、无害”(参见评测与安全对齐),问题立刻变得棘手起来:数学题可以对标准答案,代码可以跑单元测试,但面对“帮我写一封委婉拒绝客户无理要求的邮件”这种开放问题,你根本写不出一条硬编码公式来给文笔、分寸感和同理心打分。

你可能会想:“那请标注员给每条回复打 1 到 10 分不就行了?”实验很快打脸——张三习惯随手打 8 分,李四严苛到从不给 6 分以上,同一个标注员上午心情好和下午累了的标准都在飘。相比之下,心理测量学早有定论:让人类直接二选一(“回复 A 和回复 B,哪个更好?”)既轻松,一致性又高得多。

类比 · 厨艺大赛的“两两 PK 榜”

你很难要求美食评委给一道清蒸鱼凭空报出“78.4 分”还是“79.1 分”,但你把两盘鱼并排端上来,评委一尝就能立刻指出来:“左边这盘更鲜嫩。”奖励模型(Reward Model, RM) 的任务,就是旁观成千上万场“左盘赢右盘”的 PK 记录,从中倒推出一套隐含的百分制打分天平,变成一位能 7×24 小时自动批量阅卷的“代理裁判”。

核心设问

如何只用“A 胜过 B”的相对胜负记录,训练出一个能对任意回复打出连续高分的神经裁判?而当题目升级成几十步的复杂数学推理、甚至模型开始试图“钻裁判空子”时,这位裁判又该如何进化?

02 核心直觉与生活类比 ​

奖励建模的演进史,本质上是裁判从“只看总分”进化到“逐行阅卷”,再进化到“先写评语再判案”的三级跳:

类比 · 只看期末成绩的 ORM vs 逐行批改步骤的 PRM
  • 结果奖励模型(ORM):就像一位只看试卷最后“答:x = 5”就打总分的老师。对写作文、闲聊很够用,但在多步数学题里极其尴尬——学生前十步全算错、最后瞎蒙出了 5,ORM 给他满分;另一个学生前九步思路惊艳、最后一步把 2+3 算成 6,ORM 给他零分。
  • 过程奖励模型(PRM)(Lightman et al., 2023 ↗):则是把放大镜架在草稿纸上的严厉竞赛教练,在每一个推理步骤结束处都判一次对错,并取“最弱一环”作为整条链的得分。只要中间某一步逻辑断了,哪怕蒙对了答案也会被当场揪出。

不过,人工逐行给几十万道数学题的每一个中间步骤标对错实在太贵了(像 PRM800K 那样靠人类数学专家手标成本惊人)。后来的 Math-Shepherd 等工作想出了一个巧妙的自动化替代方案——蒙特卡洛展开(Monte Carlo Rollout):站在第 k 步草稿的位置,让模型随机往下继续推演 8 次,如果这 8 次里至少有几次(或较高比例)能顺利走到正确答案,就说明“这一步大方向没偏”,自动给第 k 步打上正标签!

然而,只要裁判是神经网络学出来的“代理指标”,就会撞上经济学里著名的 Goodhart 定律:一旦某个分数成了强化学习拼命追逐的唯一目标,模型就会迅速找到它的漏洞。

类比 · 应试套路王与“奖励黑客(Reward Hacking)”

假设阅卷老师潜意识里觉得“字数多、分点列一二三看起来更认真”,或者“嘴甜附和用户的观点显得很有礼貌”。聪明的考生(强化学习策略)很快就会发现这个秘密:哪怕根本不会做,只要疯狂凑字数、堆砌“首先、其次、综上所述”的华丽废话(冗长偏置),或者用户说“1+1=3 对吧”就立刻谄媚附和(谄媚迎合 Sycophancy),代理分数就能一路飙升——可真实人类读完只想摔手机。

这种“代理分数越刷越高、真实质量断崖暴跌”的现象就是奖励黑客(Reward Hacking)(详见 Gao et al., 2023 ↗ 的过优化标度律)。它迫使研究者要么给策略拴上 KL 散度安全绳、用多奖励模型集成取保守分,要么升级出能先写验算草稿再打分的生成式裁判(GenRM)(Zhang et al., 2024 ↗),或者在数学/代码领域干脆换用绝对防作弊的规则验证器(见 GRPO 与 RLVR)。

03 把关键公式读成人话 ​

判别式 ORM 把 SFT 模型的词表输出头换成一个只吐 1 个浮点数的线性头 rϕ(x,y),然后用经典的 Bradley-Terry 成对排序损失(源于信息论交叉熵)来训练:

LRM(ϕ)=−E(x,yw,yl)∼D[log⁡σ(rϕ(x,yw)−rϕ(x,yl))]

把公式读成直觉:- yw 是人类选出的胜出回复(Winner),yl 是落败回复(Loser),σ(⋅) 是 Sigmoid 函数。

  • 模型并不需要猜出“绝对几分”,它只看分差 rϕ(x,yw)−rϕ(x,yl):胜出者分数比落败者高得越多,Sigmoid 越接近 1,损失越接近 0;如果判反了,梯度就狠狠推高 yw、压低 yl。
  • 隐藏性质(平移不变性):给所有回复的得分同时加 100 分,分差丝毫不变!所以标量 RM 的绝对数值没有物理意义,进强化学习前通常要做均值方差归一化。
  • 如果标注员还额外标出了“略好”还是“好得多”的差距等级 m,就像 Llama 2 ↗ 那样在括号里再减去一个边际项 −m,逼着模型把差距拉得更开。

而 GenRM(生成式奖励模型) 则彻底抛弃了孤零零的标量头,把“当裁判”重新变回大模型最擅长的自回归生成:

rGenRM(x,y)=log⁡Pϕ("Yes"∣x,y,c),c∼Pϕ(⋅∣x,y)

把公式读成直觉:遇到一道复杂题,先让裁判模型自己写一段验证思维链(Critique CoT) c 把计算过程验算一遍,最后输出裁决词 "Yes" 或 "No",取 "Yes" 的对数概率当分数。它不仅可解释,还能靠多次采样投票实现“裁判自己的测试时扩展”。

04 它在模型里怎么工作 & 与上下游的关系 ​

在具体代码实现上,判别式标量 RM 的构造出人意料地简洁:直接拿训练好的 SFT 主干,拆掉最后一层预测词表的 lm_head,换成一个形状为 [d_model, 1] 的极简线性头;前向跑完一整条 (Prompt + Response) 序列后,只拎出最后一个有效词元(通常是 `<eos>`)的隐藏向量过一遍线性头,吐出的那个数字就是最终打分。

在整个大模型对齐与推理版图里,奖励建模是连接“人类价值观”与“自动化搜索优化”的枢纽:

  • 上游起点:SFT 提供强语义理解的初始化权重,信息论提供成对排序最大似然框架(Stiennon et al., 2020 ↗,InstructGPT ↗)。
  • 下游三大去向:
    1. 在线强化学习裁判:为 RLHF-PPO 提供实时序列级标量奖励;
    2. 测试时搜索向导:在 思维链与测试时扩展中驱动 Best-of-N 重排、步骤级束搜索与蒙特卡洛树搜索(MCTS);
    3. 隐式化与规则替代:DPO 家族用闭式推导绕过了显式 RM,但内核仍是同一套 Bradley-Terry 模型;而在代码和数学领域,GRPO 与 RLVR 则用编译单测与符号引擎替代了易被攻破的神经 RM。

05 演化对比与避坑备忘 ​

裁判范式打分粒度抗 Reward Hacking推理期扩展力典型代表
判别式 ORM整条回复 1 个标量较弱(易被长度/模板骗分)中(Best-of-N)InstructGPT ↗、Llama 2 ↗
判别式 PRM每个推理步骤一个概率中等(中间瞎编难过关)极强(Step Beam / MCTS)Let's Verify Step by Step ↗
LLM-as-a-Judge文本评语 + 胜负/打分中等(存在位置/自我偏置)强(自带 CoT 点评)MT-Bench ↗
生成式 GenRM验证 CoT + 裁决词概率强(先验算再裁决)极强(多验证链投票)GenRM ↗
规则可验证 RLVR确定性单测 / 符号等价极强(几乎无法作弊)与模型长 CoT 协同DeepSeek-R1 ↗

训练与使用奖励模型时,牢记三条血泪经验:

  1. 只训 1 个 Epoch 是铁律:RM 极易死记硬背标注员的措辞习惯,多训几轮验证准确率立刻见顶回落;若同一提示有 K 条回答排序,必须把这 (K2) 组对决放进同一个批次同步反传,切忌拆散重复刷。
  2. 警惕“越长分越高”的长度偏置:人类天然偏爱写得详尽的回答,若不刻意混入“简短精准赢过冗长废话”的平衡样本,RM 就会把下游模型驯化成废话连篇的八股文机器。
  3. 别把“有用”和“安全”硬塞进同一个标量:拒绝危险请求时“安全分高但有用分低”,强行混训会让裁判左右互搏;像 Llama 2 那样拆成独立的 Helpfulness RM 和 Safety RM 往往稳得多。

需要查阅 Bradley-Terry 边际损失、Goodhart 过优化标度律方程及包含 ORM/PRM 掩码聚合的 PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

奖励模型(Reward Model, RM)是人类偏好对齐与复杂推理验证的核心“代理裁判”。由于人类对回答有用性(Helpfulness)、真实性(Honesty)和无害性(Harmlessness,参见评测与安全对齐)的评判难以用手工规则精确编程,奖励建模通过收集人类或强模型的偏好比较数据,训练一个神经网络将任意 (Prompt, Response) 映射为量化质量得分,从而为后续强化学习(RLHF-PPO)与测试时扩展(Test-Time Scaling)提供可扩展的自动化反馈。

直观理解

在跳水或作文比赛中,很难写出一条硬编码公式直接算出“优美程度”,但评委很容易判断“作品 A 比作品 B 更好”。奖励模型先观察成千上万组“A 胜过 B”的两两对决记录,学出一套隐含的百分制打分标准(标量裁判);而在数学竞赛中,更精细的过程奖励模型(PRM)甚至会像严厉的阅卷老师一样,逐行检查推导步骤并精准指出出错的那一步。

问题动机与演进背景 ​

如果直接让人类标注员为每条模型回复打 1 到 10 的绝对分数(Pointwise Scoring),不同标注员的打分尺度(有的宽松、有的苛刻)以及同一标注员在不同时刻的漂移会产生极大噪声。相比之下,心理测量学与排序学习长期证实:成对比较(Pairwise Comparison,即在两个候选回复中选出更优者)具有更高的人类标注一致性(Inter-Annotator Agreement)与更低的认知负担。

从 2020 年 Stiennon 等人(2020 ↗)的文本摘要对齐到 2022 年 OpenAI 的 InstructGPT(Ouyang et al., 2022 ↗),基于 Bradley-Terry 模型和信息论交叉熵的结果奖励模型(Outcome Reward Model, ORM) 成为了 RLHF 的标准组件。然而,随着大模型迈向多步数学推理与代码生成,仅在答案末尾给出单个总分的 ORM 暴露出严重的信用分配(Credit Assignment)难题——它无法区分“过程全错却蒙对答案”与“前十步全对仅最后算错一位”。2023 年 OpenAI 在 Let's Verify Step by Step(Lightman et al., 2023 ↗)中系统验证了过程奖励模型(Process Reward Model, PRM) 在复杂推理验证上的显著优势;随后,利用大语言模型自身生成评价链(Chain-of-Thought Critique)再打分的 LLM-as-a-Judge(Zheng et al., 2023 ↗)与 生成式奖励模型(Generative RM, GenRM)(Zhang et al., 2024 ↗)进一步打破了纯判别式标量头缺乏推理深度的天花板。

核心原理与数学推导 ​

1. Bradley-Terry 成对偏好模型与损失函数 ​

给定输入提示 x 与两个候选回复 (yw,yl),其中 yw 表示人类偏好的胜出回复(Chosen / Winner),yl 表示落败回复(Rejected / Loser)。Bradley-Terry(BT)模型假设存在一个潜在标量奖励函数 rϕ(x,y)∈R,人类偏好 yw 胜过 yl 的概率仅取决于二者奖励之差经过 Sigmoid 函数的映射:

P(yw≻yl∣x)=exp⁡(rϕ(x,yw))exp⁡(rϕ(x,yw))+exp⁡(rϕ(x,yl))=σ(rϕ(x,yw)−rϕ(x,yl))

其中 σ(z)=11+e−z。在偏好数据集 D={(x(i),yw(i),yl(i))}i=1N 上最大化对数似然,即得到经典的成对排序损失函数:

LRM(ϕ)=−E(x,yw,yl)∼D[log⁡σ(rϕ(x,yw)−rϕ(x,yl))]

关键数学性质与变体扩展:

  1. 平移不变性(Shift Invariance):对所有样本同时给 rϕ(x,y) 加上任意与 y 无关的常数 c(x),差值 rϕ(x,yw)−rϕ(x,yl) 保持不变。因此标量 RM 的绝对分值没有意义,工程上常在推理或 RL 阶段对奖励做均值方差归一化,或向损失中加入弱正则项 λ(rw2+rl2) 防止分数发散。
  2. 边际项扩展(Margin Loss,如 Llama 2 RM):当标注员不仅指出胜负,还标明了偏好差距等级 m(x,yw,yl)≥0(例如“略微更好”vs“明显更好”)时,可引入间隔项:Lmargin(ϕ)=−E[log⁡σ(rϕ(x,yw)−rϕ(x,yl)−m)]
  3. 多回复列表(Listwise / Plackett-Luce):若对同一提示标注了 K 个回复的完整排序,InstructGPT 将其拆分为 (K2) 个成对比较并放在同一前向批次中计算,避免同一提示的多个候选在不同步重复更新导致过拟合。

在架构实现上,判别式标量 RM 通常取 SFT 模型,移除原本维度为 [dmodel,|V|] 的词表分类头 lm_head,替换为维度为 [dmodel,1] 的线性标量头,并提取序列最后一个有效词元(通常是 `<eos>`)对应的隐状态投影作为最终标量得分 rϕ(x,y)。而下游的 DPO 则巧妙地将 Bradley-Terry 损失绕过显式 RM 直接作用于策略自身;在数学与代码领域,GRPO 与 RLVR 更进一步用确定性规则验证器替代了神经奖励模型。

2. ORM(结果奖励模型)vs PRM(过程奖励模型) ​

对于包含 K 个推理步骤的回答 y=(s1,s2,…,sK):

  • ORM(Outcome Reward Model) 仅在完整回复结束处预测最终答案正确的概率 pORM(x,y)∈(0,1),训练损失为回复级二元交叉熵(或 BT 偏好损失):LORM=−[zfinallog⁡p^+(1−zfinal)log⁡(1−p^)]
  • PRM(Process Reward Model) 在每一个推理步骤结束标记(如特定分隔符)处输出该步骤正确的概率 p^k=P(zk=1∣x,s≤k),训练损失为全步骤交叉熵之和:LPRM=−∑k=1K[zklog⁡p^k+(1−zk)log⁡(1−p^k)]

在测试时对整条推理链打分时,PRM 常将各步概率聚合为连乘积 ∏k=1Kp^k 或最小值(最弱一环) minkp^k。由于数学推理遵循“一步错、步步错”的短板效应,最小步概率与连乘积聚合往往能精准拦截包含隐蔽计算错误却碰巧凑出正确结果的“伪正确”轨迹。为解决人工逐步骤标注(如 PRM800K)极其昂贵的痛点,后续工作(如 Math-Shepherd、OmegaPRM)提出了基于蒙特卡洛采样展开(Monte Carlo Rollout) 的自动化过程标注:从步骤 sk 出发随机补全 M 次,若至少有一次(或高比例)能推导出正确最终答案,则自动赋予步骤 sk 正标签。

3. 奖励黑客(Reward Hacking)与 Goodhart 定律 ​

经济学中的 Goodhart 定律指出:“当一项指标变成优化目标时,它就不再是一个好指标。” 在 RLHF 中,训练得到的奖励模型 rϕ 只是真实人类偏好 R∗ 在有限分布上的代理(Proxy)。当强化学习策略 πθ 过度优化 rϕ、探索到奖励模型训练分布之外(Out-of-Distribution, OOD)的区域时,会出现显著的奖励黑客(Reward Hacking / Overoptimization):代理奖励持续飙升,但真实人类满意度却在达到峰值后断崖式下跌。

Gao 等人(2023 ↗)在 Scaling Laws for Reward Model Overoptimization 中以黄金奖励模型(Gold RM)模拟真实人类偏好,给出了代理奖励与黄金奖励随策略偏离度 d=DKL(πθ∥πref) 变化的经验标度律:

Rgold(d)=d(αbo−βbolog⁡d)(Best-of-N 形式)Rgold(d)=d(αrl−βrld)(RL 形式,呈先升后降的抛物线)

典型的奖励黑客表现包括:冗长偏置(Length Bias / Verbosity Hacking)(无意义堆砌长段落、分点罗列以骗取高分)、谄媚迎合(Sycophancy)(盲目附和用户错误观点)、以及特定模板词堆砌。缓解策略包括施加 KL 散度惩罚、采用多奖励模型集成(Reward Ensemble,取均值减方差作为保守估计)、长度去偏回归以及在线迭代收集新负样本重新训练 RM。

4. LLM-as-a-Judge 与生成式奖励模型(GenRM) ​

传统判别式标量 RM 仅凭单次前向传播吐出一个孤立浮点数,既缺乏可解释性,也无法在评判复杂代码、逻辑证明前进行“深度思考”。由此演进出两类生成式评判范式:

  1. LLM-as-a-Judge(Zheng et al., 2023):直接提示前沿大模型(如 GPT-4)先写出逐项分析(Critique),再依据打分细则(Rubric)输出成对胜负或标量分数。需要注意缓解其固有的位置偏置(Position Bias,偏好先出现的回复)(通过互换顺序评两次取平均)和自我偏好(Self-Enhancement Bias)。
  2. GenRM(Generative Reward Models)(Zhang et al., 2024):将奖励建模统一回标准的自回归下一词元预测任务!模型先生成验证思维链(Verifier CoT),最后输出特定裁决词元(如 "Yes" / "No" 或 "A" / "B"),并以该裁决词元的条件概率作为奖励信号:rGenRM(x,y)=log⁡Pϕ("Yes"∣x,y,c),c∼Pϕ(⋅∣x,y)GenRM 不仅完美继承了基座模型的生成与推理能力,还支持在评判阶段施加多数投票(Majority Voting)实现验证器的测试时扩展。

算法架构与数据流图 ​

以下流程图对比了判别式标量 ORM、逐步 PRM 与生成式 GenRM 的结构差异及与下游对齐/搜索的衔接:

图表加载中...

复杂度与横向对比表 ​

下表对五类主流奖励与验证机制在标注成本、抗黑客能力、推理验证深度与工程开销上进行横向对比:

奖励/验证类型信号粒度标注成本抗 Reward Hacking 能力测试时推理扩展典型适用场景
判别式 ORM(BT 模型)回复级标量中(人类成对比较)较弱(易受长度与风格偏置影响)中(Best-of-N 重排)通用对话对齐、安全性与风格偏好建模
判别式 PRM步骤级概率序列极高(人工)或中(MC 自动合成)中等(局部步骤错误难伪装)极强(Step-level Beam / MCTS)数学推理、逻辑推导与步骤纠错
LLM-as-a-Judge文本评价 + 评分极低(无需训练,零样本提示)中等(存在位置与长度偏置)强(自带点评 CoT)自动化评测基准(MT-Bench)、合成偏好筛选
生成式 GenRM验证 CoT + 裁决概率中(需验证轨迹数据)强(可显式验算与查错)极强(多条验证链投票)复杂推理裁判、通用高可靠奖励模型
规则可验证奖励(RLVR)确定性二元/单元测试极低(编译器/符号比对)极强(几乎无法作弊)与模型自身 CoT 协同竞赛数学、代码生成、形式化验证

核心 PyTorch 参考实现 ​

以下代码实现了工业级标量奖励模型的 Bradley-Terry 成对损失(含可选 Margin 与防发散正则),以及 PRM 步骤级掩码交叉熵与最小步聚合打分:

python
import torch
import torch.nn as nn
import torch.nn.functional as F
from typing import Optional, Tuple


class ScalarRewardModel(nn.Module):
    """
    基于 Transformer 隐藏状态的标量奖励模型封装。
    取每条序列最后一个非填充词元的隐藏表征投影为标量奖励。
    """

    def __init__(self, hidden_size: int):
        super().__init__()
        self.value_head = nn.Linear(hidden_size, 1, bias=False)
        # 较小标准差初始化,避免训练初期 Sigmoid 饱和
        nn.init.normal_(self.value_head.weight, mean=0.0, std=1.0 / (hidden_size + 1) ** 0.5)

    def forward(
        self,
        hidden_states: torch.Tensor,
        attention_mask: torch.Tensor,
    ) -> torch.Tensor:
        """
        hidden_states: [B, L, D]
        attention_mask: [B, L] (1 表示有效词元,0 表示右侧 Padding)
        return: [B] 标量奖励
        """
        # 找到每条样本最后一个有效词元的位置索引
        last_indices = attention_mask.sum(dim=1) - 1  # [B]
        batch_indices = torch.arange(hidden_states.size(0), device=hidden_states.device)
        last_hidden = hidden_states[batch_indices, last_indices]  # [B, D]
        rewards = self.value_head(last_hidden).squeeze(-1)        # [B]
        return rewards


def bradley_terry_loss(
    chosen_rewards: torch.Tensor,
    rejected_rewards: torch.Tensor,
    margin: Optional[torch.Tensor] = None,
    reg_coeff: float = 0.0,
) -> Tuple[torch.Tensor, torch.Tensor]:
    """
    计算 Bradley-Terry 成对偏好损失及验证准确率。
    chosen_rewards, rejected_rewards: [B]
    margin: 可选偏好差距间隔 [B]
    reg_coeff: 防止标量奖励绝对值无界漂移的 L2 正则系数
    """
    diff = chosen_rewards - rejected_rewards  # [B]
    if margin is not None:
        diff = diff - margin

    # -log(sigmoid(diff)) == softplus(-diff),数值上绝对稳定
    loss = F.softplus(-diff).mean()
    if reg_coeff > 0.0:
        loss = loss + reg_coeff * (chosen_rewards.pow(2).mean() + rejected_rewards.pow(2).mean())

    accuracy = (chosen_rewards > rejected_rewards).float().mean()
    return loss, accuracy


def compute_prm_step_loss_and_score(
    step_logits: torch.Tensor,
    step_labels: torch.Tensor,
    step_mask: torch.Tensor,
) -> Tuple[torch.Tensor, torch.Tensor]:
    """
    过程奖励模型(PRM)步骤级训练损失与轨迹最小步聚合打分。
    step_logits: [B, K] 每个推理步骤分隔符处的二分类 logit
    step_labels: [B, K] 步骤真实标签 (0.0 或 1.0)
    step_mask:   [B, K] 有效步骤布尔掩码 (True 表示该位置是真实步骤)
    """
    # 仅在有效步骤位置计算二元交叉熵
    per_step_loss = F.binary_cross_entropy_with_logits(
        step_logits, step_labels, reduction="none"
    )  # [B, K]
    loss = (per_step_loss * step_mask.float()).sum() / step_mask.float().sum().clamp(min=1.0)

    # 推理期轨迹聚合:采用“最弱一环”最小步正确概率(无效位置填充 1.0 不影响最小值)
    step_probs = torch.sigmoid(step_logits)  # [B, K]
    masked_probs = step_probs.masked_fill(~step_mask, 1.0)
    trajectory_scores = masked_probs.min(dim=1).values  # [B]
    return loss, trajectory_scores


if __name__ == "__main__":
    B, L, D = 4, 16, 128
    rm = ScalarRewardModel(hidden_size=D)
    h_chosen = torch.randn(B, L, D)
    h_rejected = torch.randn(B, L, D)
    mask = torch.ones(B, L, dtype=torch.long)

    r_w = rm(h_chosen, mask)
    r_l = rm(h_rejected, mask)
    bt_loss, acc = bradley_terry_loss(r_w, r_l, reg_coeff=1e-3)

    # 演示 PRM 步骤损失与聚合打分
    step_logits = torch.tensor([[2.0, 1.5, -0.8, 0.0], [1.2, 2.3, 1.8, 0.0]])
    step_labels = torch.tensor([[1.0, 1.0, 0.0, 0.0], [1.0, 1.0, 1.0, 0.0]])
    step_mask = torch.tensor([[True, True, True, False], [True, True, True, False]])
    prm_loss, traj_scores = compute_prm_step_loss_and_score(step_logits, step_labels, step_mask)
    print(f"BT loss: {bt_loss.item():.4f}, acc: {acc.item():.2f} | PRM scores: {traj_scores.tolist()}")

工程实践与常见陷阱 ​

工程实践

  1. 单轮训练(1 Epoch)原则:判别式奖励模型极易在有限偏好集上记忆表面句式而迅速过拟合。InstructGPT 与 Llama 2 的标准实践均是仅训练 1 个 Epoch,并采用较小的余弦衰减学习率(约 5×10−6∼1×10−5),以验证集偏好准确率与校准误差(Calibration Error)作为早停依据。
  2. 同一提示的组合批处理:如果一个提示 x 有 K 个候选回答排序,务必将这 (K2) 对样本放入同一个微批次中同步计算梯度,切忌拆散到不同训练步——否则同一条回复在同一 Epoch 内反复出现多次,会严重夸大其权重并诱发严重过拟合。
  3. RewardBench 与多维评测:除了监控训练集内部验证准确率外,上线前必须在公开基准(如 RewardBench)上分别检验 Chat、Chat-Hard、Safety 和 Reasoning 四个维度的区分度,排查隐蔽的长度或格式捷径。

常见陷阱

  1. 长度偏置(Length Bias)未清洗:人类标注数据中,胜出回答往往显著长于落败回答。若直接训练,RM 会学到“越长分越高”的虚假相关性,导致下游 RLHF 模型变得啰嗦冗余。工程上需在偏好集中刻意构造“简短精确胜过冗长废话”的平衡对,或在奖励输出中做长度回归残差去偏。
  2. 缺失 EOS 或 Padding 方向错误导致取值错位:如果推理时改用了左填充(Left Padding),直接按 attention_mask.sum(dim=1) - 1 取索引会错误地取到序列中间而非末尾词元!左填充场景下末尾有效词元固定为 hidden_states[:, -1, :],务必根据填充方向严格对齐索引逻辑。
  3. 用单一标量 RM 强行拟合相互冲突的目标:有用性(Helpfulness)与无害性(Harmlessness)在边界请求上常存在天然张力。Llama 2 的经验表明,训练两个解耦的专属奖励模型(Helpfulness RM 与 Safety RM)并在 RL 阶段分段门控融合,效果远优于单一混合 RM。

延伸阅读与参考论文 ​

  • Stiennon, N., Ouyang, L., Wu, J., et al. (2020). Learning to summarize from human feedback. NeurIPS 2020. arXiv:2009.01325 ↗
  • Ouyang, L., Wu, J., Jiang, X., et al. (2022). Training language models to follow instructions with human feedback. NeurIPS 2022. arXiv:2203.02155 ↗
  • Gao, L., Schulman, J., & Hilton, J. (2023). Scaling Laws for Reward Model Overoptimization. ICML 2023. arXiv:2210.10760 ↗
  • Lightman, H., Kosaraju, V., Burda, Y., et al. (2023). Let's Verify Step by Step. ICLR 2024. arXiv:2305.20050 ↗
  • Touvron, H., Martin, L., Stone, K., et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288 ↗
  • Zheng, L., Chiang, W.-L., Sheng, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023. arXiv:2306.05685 ↗
  • Zhang, L., Hosseini, A., Bansal, H., et al. (2024). Generative Verifiers: Reward Modeling as Next-Token Prediction (GenRM). ICLR 2025. arXiv:2408.15240 ↗