Skip to content

DPO 及其家族:直接偏好优化、IPO、KTO、ORPO 与 SimPO

由 KL 约束强化学习最优解反解隐式奖励,将复杂 RLHF 简化为稳定的监督分类损失并衍生出丰富变体。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是 DPO(直接偏好优化)及其家族?

传统 RLHF-PPO 流程极其繁琐:要同时在显存里塞下四个大模型(策略、参考、评论家、奖励模型),训练极不稳定且调参痛苦。

DPO(Direct Preference Optimization) 通过精妙的数学推导证明:其实根本不需要单独训练奖励模型,也不用跑复杂的强化学习采样!直接拿“好回答 vs 差回答”的成对偏好数据,写一个类似分类的交叉熵损失函数,就能一步到位隐式完成带 KL 约束的偏好对齐;后续还演化出免成对数据的 KTO 和免参考模型的 SimPO / ORPO。

01 问题从何而来:做一次对齐,非得养活四个百亿模型吗? ​

RLHF-PPO 的效果固然惊艳,但它对中小团队简直是“劝退级”的奢侈工程:你得先训一个独立的奖励模型(RM),再同时把 Actor、Critic、Reference、RM 四个庞然大物塞进显存,忍受慢如蜗牛的在线采样解码,还要小心翼翼调教十几个互相耦合的超参数——稍微哪一步没对齐,训练曲线就给你表演当场原地爆炸。

于是 2023 年斯坦福团队在 NeurIPS 抛出了那篇标题极具挑衅意味的论文——Direct Preference Optimization: Your Language Model is Secretly a Reward Model(Rafailov et al., 2023 ↗),一举改变了开源大模型的后训练格局。

类比 · 跳过中介裁判,直接对着错题本练功

传统 RLHF 像一场繁琐的“两步法”:先花大价钱培养一位专职裁判(RM),再雇一名陪练教练(Critic)带着学生在线刷题试错。而 DPO 透过一行精妙的数学变换发现:学生自己对一道题“相比入学前更有把握还是更没把握”,本身就已经等价于一台隐式裁判! 既然如此,根本不需要外聘裁判和教练,直接把“好回答”和“差回答”成对摆到学生面前,拉高好回答的相对信心、压低差回答的相对信心就行了。

核心设问

复杂的强化学习目标怎么能变成一行普通的监督分类损失?而当 DPO 真的大规模落地之后,它又暴露出哪些隐蔽的毛病,催生出 IPO、KTO、ORPO、SimPO 这一整个庞大家族?

02 核心直觉与生活类比 ​

DPO 的数学魔术其实只需要两步直觉就能完全看透:

  1. 最优策略和奖励是一一对应的:在“既要拿高奖励、又不能偏离初始 SFT 模型太远(KL 散度约束)”的强化学习目标下,理论上存在唯一的最佳策略 π∗——好回答的概率会在参考模型 πref 基础上按奖励指数级放大。倒过来写,奖励就是“新策略比参考模型多出多少信心”的对数比值!
  2. 最难算的归一化常数,一相减全消掉了:平时反解奖励会冒出一个要对全宇宙所有句子求和的配分函数 Z(x),根本算不出来。可是一旦放进 Bradley-Terry 的 成对比较(好回答减差回答) 里,两个句子共享同一个提示 x,这个烦人的 log⁡Z(x) 一减直接化为乌有!
类比 · 跷跷板上的“智能弹簧”:DPO 为什么比瞎拉概率稳得多?

如果你天真地只写一句损失“拼命拉高好答案概率、拼命压低差答案概率”,模型几步就会把语言能力练崩。DPO 损失对参数求导后,前面自带一个极其聪明的动态刹车系数 w=σ(r^l−r^w):

  • 当模型判错了(居然觉得差回答比好回答顺口),弹簧立刻拉满(w→1),使出最大力气把跷跷板压回正轨;
  • 当模型已经分清好坏且拉开了足够差距,弹簧自动彻底松劲(w→0),停手不再过度扭曲权重。

然而,DPO 并不是终点。上线实战后,研究者接连发现了它的五个软肋,并精准造出了五位“专科继任者”:

类比 · DPO 家族五虎将:各自专治哪一块痛点?
  • IPO(arXiv ↗):专治死磕过拟合。标准 DPO 遇到“好回答绝对碾压差回答”时会试图把差距推向无穷大;IPO 改成有界平方回归,把差距稳稳钉在一个安全靶心附近。
  • KTO(arXiv ↗):专治凑不齐成对数据。真实产品日志里只有散落的用户“点赞 👍 / 点踩 👎”,根本没有同一题的成对比较;KTO 借用行为经济学前景理论,单点好坏样本直接就能训。
  • ORPO(arXiv ↗):专治两阶段太麻烦 + 参考模型太占显存。把 SFT 和几率比偏好惩罚揉成单一损失,一步到位且不需要参考模型。
  • SimPO(arXiv ↗):专治参考模型费显存 + 越写越啰嗦。彻底甩掉参考模型,直接用按字数平均后的对数概率当隐式奖励再加一个及格间隔 γ,长度控制一把好手。
  • Online / Iterative DPO(arXiv ↗):专治离线题库过时(分布偏移)。每训完一轮,就让最新模型亲自生成新答卷、找裁判打分挑出新错题,补上了离线 DPO 与在线 PPO 之间最后的能力代差。

03 把关键公式读成人话 ​

标准 DPO 把整套强化学习浓缩成了下面这一行干净得令人震撼的分类损失:

LDPO(θ)=−E(x,yw,yl)∼D[log⁡σ(βlog⁡πθ(yw∣x)πref(yw∣x)−βlog⁡πθ(yl∣x)πref(yl∣x))]

把公式读成直觉:- βlog⁡πθ(y∣x)πref(y∣x) 就是隐藏在语言模型体内的隐式奖励 r^θ(x,y):模型现在比参考基座越偏爱这句话,它的隐式分就越高。

  • β 是安全绳松紧度:β 越大,说明你越怕模型偏离参考模型(保守);β 越小,模型胆子越大。
  • 整行公式的唯一指令就是:让好回答 yw 相对于参考模型的信心增幅,稳稳压过差回答 yl。

再对照一眼无参考模型、自带长度归一化的 SimPO 损失:

LSimPO(θ)=−E(x,yw,yl)[log⁡σ(β|yw|log⁡πθ(yw∣x)−β|yl|log⁡πθ(yl∣x)−γ)]

**把公式读成直觉:**少了 πref 直接省掉一半模型显存;同时每个句子的总对数概率先除以字数 |y| 变成“单字平均信心”,彻底堵死了“靠拉长废话刷分”的后门;最后减去正间隔 γ,要求好回答必须比差回答高出至少一截才算及格。

04 它在模型里怎么工作 & 与上下游的关系 ​

在现代开源大模型(如 Llama 3、Qwen、Zephyr)的后训练配方中,DPO 家族占据着最甜美的“高性价比对齐”位置。走完一整步 DPO 训练,其实只需要极简的三步动作:

  1. 拼批一次前向:把同一批次的胜出回答 yw 和落败回答 yl 沿 Batch 维度拼成 [2B, L],送进可训练策略模型一次性算出所有回复词元的对数概率之和;
  2. 获取参考基准:用冻结的参考模型 πref 对同一批样本做无梯度前向(如果是全参数 DPO,甚至可以提前把整套数据集的 ref_logprobs 算完存盘,训练时连参考模型都不用加载进显存);
  3. 计算隐式奖励差并反传:对比“好回答相对参考模型的信心增幅”和“差回答的增幅”,过一遍 logsigmoid 即可反向传播。

在整张大模型知识图谱里,它与上下游的协同同样紧密:

  • 上游承接:通常紧跟在 SFT 之后,拿 SFT 检查点同时初始化策略模型与参考模型;如果结合 LoRA 训练,还有一个绝妙的工程彩蛋——完全不用加载两份权重,算参考概率时临时调用 disable_adapter() 关掉 LoRA 旁路,冻结基座本身就是零成本的 πref!
  • 与离线数据的同分布法则:同样叫 DPO,拿外部强模型生成的离线数据硬喂(Off-policy),效果往往明显不如让当前自己的 SFT 模型采样生成候选、再选出优劣对(On-policy)——这正是 Iterative / Online DPO 能够逼近在线 PPO 的根本原因。
  • 向下演进:离线 DPO 在通用对话风格、安全礼貌对齐上极具性价比;但一旦进入需要深度试错、长链条探索的竞赛数学与编程领域,静态偏好对就力不从心了,接力棒于是交给了在线探索的 RLHF-PPO 与 GRPO / RLVR。

05 演化对比与避坑备忘 ​

算法数据形态需要参考模型显式长度控制一句话选型指南
DPO成对 (yw,yl)是(2× 显存)否(全句求和)生态最全、最稳妥的通用基准首选
IPO成对 (yw,yl)是否偏好数据噪点大或容易严重过拟合时用
KTO单点点赞/点踩是否只有线上二元反馈日志、且正负极不平衡时用
ORPO成对 (yw,yl)否(1× 显存)是想省事把 SFT 与偏好对齐一步合训时用
SimPO成对 (yw,yl)否(1× 显存)是(除以 |y|)显存紧张且希望严格抑制回复冗长时首选
Online DPOPrompt + 外部裁判是可选有算力循环采样,想追平在线 PPO 效果时用

实战跑 DPO 家族时,务必避开这三个高频深坑:

  1. 小心“好坏答案概率一起暴跌”的幽灵现象:只要差回答的概率跌得比好回答更快,DPO 损失照样往下掉——结果模型越来越不会说好答案本身(数学代码题准确率反降)!工业标准解法是像 Llama 3 一样,在 DPO 损失上叠一个极小权重的 SFT 锚定项(+ 0.1 * NLL(y_w))稳住好答案似然。
  2. 千万别把 DPO 和 SimPO 的 β 混着填:DPO 对整句几十上百个字求和,所以 β 很小(典型值 0.1);SimPO 除以长度求了平均,量级缩小几十倍,β 必须放大到 2.0 ~ 10.0,沿用 0.1 会让梯度微弱到训了个寂寞。
  3. 把 chosen 和 rejected 拼成 [2B, L] 一次前向:在 DDP / FSDP 分布式训练里分两次调 forward() 既慢又容易踩梯度同步坑;另外学习率要比 SFT 再砍一个数量级(5×10−7∼5×10−6),跑 1–2 个 Epoch 见好就收。

需要查阅从 KL 约束 RL 到 DPO 闭式解的完整逐步推导、KTO/ORPO 公式细节及统一 PyTorch 实现?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

直接偏好优化(Direct Preference Optimization, DPO)是继 RLHF-PPO 之后最具影响力的对齐算法。Rafailov 等人(2023 ↗)发现,KL 散度约束下的强化学习目标存在精确的闭式最优策略解析解;利用该解析关系将奖励函数反解为策略对数概率比,即可彻底绕过显式奖励模型训练与昂贵的在线 PPO 强化学习,仅用一个简单的类交叉熵分类损失,便能直接在离线偏好数据上对齐大语言模型。

直观理解

传统 RLHF 需要先花大力气训练一个独立“裁判”(奖励模型),再雇一名“教练”(Critic)带着学生在线试错刷题;而 DPO 通过一行精妙的数学变量替换发现:语言模型自身对回答的“相对信心变化”(相较于初始模型)其实就是一台隐式的奖励裁判。因此只需直接拿“好回答”与“差回答”成对喂给模型,拉高好回答相对概率、压低差回答相对概率,就等价于完成了整套强化学习对齐!

问题动机与演进背景 ​

尽管 RLHF-PPO 在 InstructGPT 与 ChatGPT 中展现了惊人效果,但其工程与算法痛点十分突出:

  1. 流程冗长且超参脆弱:需要分阶段维护奖励模型与四模型 PPO 训练,学习率、KL 系数、GAE 与 Critic 预热任一环节失调都极易引发崩塌。
  2. 显存与算力门槛极高:在线 Rollout 自回归解码耗时巨大,中小研究团队难以复现。

DPO 以极简的二元监督学习形式实现了媲美甚至在某些静态基准上超越 PPO 的对齐效果,迅速成为开源大模型(如 Zephyr、Llama 3、Qwen 等)在 SFT 之后的核心标配。随后,研究者针对 DPO 在过拟合确定性偏好、依赖成对标注、参考模型显存开销、生成长度偏置以及离线分布偏移五大局限上,接连衍生出了 IPO(Azar et al., 2023 ↗)、KTO(Ethayarajh et al., 2024 ↗)、ORPO(Hong et al., 2024 ↗)、SimPO(Meng et al., 2024 ↗)与 Iterative/Online DPO(Guo et al., 2024 ↗)等繁荣家族,并在复杂推理场景进一步演进至在线可验证强化学习 GRPO 与 RLVR。

核心原理与数学推导 ​

1. DPO 完整闭式推导 ​

从标准 RLHF 的 KL 约束最大化问题出发:

maxπθEx∼D,y∼πθ(⋅∣x)[r(x,y)]−βDKL(πθ(y∣x)∥πref(y∣x))

将目标函数除以 −β 并整理为关于 πθ 的最小化问题:

minπθEx∼DEy∼πθ(⋅∣x)[log⁡πθ(y∣x)1Z(x)πref(y∣x)exp(1βr(x,y))−log⁡Z(x)]

其中配分函数(Partition Function)Z(x)=∑yπref(y∣x)exp(1βr(x,y)) 仅与提示 x 有关而与 y 无关。定义合法的概率分布 π∗(y∣x)=1Z(x)πref(y∣x)exp(1βr(x,y)),上式即等价于最小化 KL 散度 DKL(πθ(⋅∣x)∥π∗(⋅∣x))。根据吉布斯不等式(Gibbs' Inequality),当且仅当 πθ=π∗ 时 KL 散度取全局最小值 0。

对最优策略闭式解两边取对数并整理,将真实奖励 r(x,y) 反解为最优策略与参考策略的对数比:

r(x,y)=βlog⁡π∗(y∣x)πref(y∣x)+βlog⁡Z(x)

奇妙之处在于,将上式代入 Bradley-Terry 偏好概率 P(yw≻yl∣x)=σ(r(x,yw)−r(x,yl)) 时,极其难以计算的配分函数项 βlog⁡Z(x) 在做差时完美抵消!用参数化策略 πθ 替代 π∗,即得到最终的 DPO 损失函数:

LDPO(θ)=−E(x,yw,yl)∼D[log⁡σ(βlog⁡πθ(yw∣x)πref(yw∣x)−βlog⁡πθ(yl∣x)πref(yl∣x))]

2. DPO 梯度的直观机制解析 ​

令隐式奖励定义为 r^θ(x,y)=βlog⁡πθ(y∣x)πref(y∣x),对 LDPO(θ) 求参数梯度:

∇θLDPO(θ)=−βE(x,yw,yl)[σ(r^θ(x,yl)−r^θ(x,yw))⏟动态错误加权因子 w∈(0,1)(∇θlog⁡πθ(yw∣x)⏟提高胜出回复似然−∇θlog⁡πθ(yl∣x)⏟降低落败回复似然)]

梯度的结构揭示了 DPO 稳定性的核心奥秘:自适应难例权重 w=σ(r^l−r^w)。

  • 当隐式奖励判断错误(落败回复得分反而高于胜出回复,r^l>r^w)时,w 趋近于 1,施加最大力度纠偏;
  • 当模型已经拉开了足够大的优势差距(r^w≫r^l)时,w 趋近于 0,自动停止过度更新,从而避免无权重对比学习极易导致的语言模型退化。

3. DPO 全家族核心演进 ​

针对标准 DPO 在实际应用中的多项局限,社区演化出五大代表性改进分支:

  1. IPO(Identity Preference Optimization,Azar et al., 2023):

    • 痛点:若数据集中某对样本的偏好几乎是确定性的(P(yw≻yl)→1),最小化 −log⁡σ(Δ) 会迫使隐式奖励差 Δ→+∞,压倒一切 KL 正则,导致严重过拟合。
    • 改进:用有界的平方误差损失替代无界对数 Sigmoid,将对数概率比之差锚定在目标常数 12τ 附近:LIPO(θ)=E[(log⁡πθ(yw∣x)πref(yw∣x)−log⁡πθ(yl∣x)πref(yl∣x)−12τ)2]
  2. KTO(Kahneman-Tversky Optimization,Ethayarajh et al., 2024):

    • 痛点:收集高质量的成对偏好数据 (x,yw,yl) 十分昂贵,而真实生产日志中充斥着海量单点“点赞/点踩”(二元好坏标签)信号。
    • 改进:基于行为经济学前景理论(Prospect Theory,人们对损失的厌恶大于同等收益的喜悦),直接定义单样本效用损失,完全不需要成对数据:LKTO(θ)=E(x,y)[λy−v(x,y)],v(x,y)={λDσ(β(rθ(x,y)−z0)),y 为正样本λUσ(β(z0−rθ(x,y))),y 为负样本其中参考基准点 z0=Ex′,y′[βlog⁡πθ(y′∣x′)πref(y′∣x′)] 用批内不匹配样本估计(不回传梯度),λD,λU 控制正负样本不平衡权重。
  3. ORPO(Odds Ratio Preference Optimization,Hong et al., 2024):

    • 痛点:传统流程必须先 SFT 再 DPO,且 DPO 需常驻一份冻结的参考模型 πref 占用双倍显存。
    • 改进:将 SFT 与偏好对齐合并为单阶段、无参考模型训练!引入几率(Odds)定义 oddsθ(y∣x)=Pθ(y∣x)1−Pθ(y∣x)(以平均对数概率计算 Pθ),在标准 SFT 损失上直接叠加对数几率比惩罚:LORPO(θ)=LSFT(x,yw)−λlog⁡σ(log⁡oddsθ(yw∣x)oddsθ(yl∣x))
  4. SimPO(Simple Preference Optimization,Meng et al., 2024):

    • 痛点:标准 DPO 依赖参考模型 πref,且其隐式奖励是全序列对数概率之和,导致长回复天然更容易产生极端分数(长度利用偏差),与推理期长度归一化的生成偏好不匹配。
    • 改进:彻底移除参考模型,直接以长度归一化的平均对数概率作为隐式奖励,并加入目标奖励间隔(Target Margin)γ>0:LSimPO(θ)=−E(x,yw,yl)[log⁡σ(β|yw|log⁡πθ(yw∣x)−β|yl|log⁡πθ(yl∣x)−γ)]
  5. Iterative / Online DPO:

    • 痛点:离线 DPO(Offline DPO)只在固定历史数据集上训练,随着 πθ 更新,其生成分布逐渐偏离离线数据,导致模型无法及时纠正在新分布下产生的错误(Distribution Shift)。
    • 改进:以多轮迭代方式,在每一轮使用当前最新策略 πθ(t) 重新采样生成多条候选回复,利用外部奖励模型、规则校验器或 LLM-as-a-Judge 实时筛选出新的胜负对 (yw,yl),再执行 DPO 更新(并视情况同步更新参考模型)。Online DPO 弥合了离线 DPO 与在线 PPO 之间的核心能力鸿沟。

算法架构与数据流图 ​

下图直观对比了标准 DPO、免参考模型的 SimPO/ORPO 以及闭环迭代的 Online DPO 架构演进:

图表加载中...

复杂度与横向对比表 ​

下表从数据形态、参考模型显存、防过拟合、长度控制与是否需要独立 SFT 五个维度对比 DPO 家族成员:

算法数据需求需要参考模型 πref长度归一化合并 SFT核心优势与典型局限
DPO成对 (x,yw,yl)是(2x 模型显存)否(全序列求和)否推导严谨、生态最成熟;易受长度偏置与确定性偏好过拟合影响
IPO成对 (x,yw,yl)是否否平方回归目标天然抑制过拟合;需精细调节间隔超参 τ
KTO单点二元好/坏标签是否否极佳适配生产点赞/点踩日志与类别极度不平衡数据
ORPO成对 (x,yw,yl)否(1x 显存)是(平均概率)是(单阶段)省去参考模型与独立 SFT;大规模指令下有时不如先 SFT 再对齐稳定
SimPO成对 (x,yw,yl)否(1x 显存)是(显式除以 |y|)否长度控制极佳、无参考模型开销;需配合较小学习率与合适 γ 防遗忘
Online DPOPrompt + 外部裁判是可选否消除离线分布偏移,效果直逼 PPO;需引入推理采样与裁判算力成本

核心 PyTorch 参考实现 ​

下面提供高度清晰、可直接复用的 PyTorch 参考实现,涵盖序列对数概率提取、标准 DPO(含可选 IPO 切换) 以及无参考模型的 SimPO 损失函数:

python
import torch
import torch.nn.functional as F
from typing import Tuple

IGNORE_INDEX = -100


def get_sequence_logprobs(
    logits: torch.Tensor,
    labels: torch.Tensor,
    average_log_prob: bool = False,
) -> torch.Tensor:
    """
    计算每条回复序列的条件对数概率之和(DPO/IPO)或长度归一化均值(SimPO)。
    logits: [B, L, V]
    labels: [B, L] (Prompt 与 Padding 位置为 IGNORE_INDEX)
    return: [B]
    """
    shift_logits = logits[:, :-1, :]  # [B, L-1, V]
    shift_labels = labels[:, 1:]      # [B, L-1]

    loss_mask = shift_labels != IGNORE_INDEX  # [B, L-1]
    safe_labels = shift_labels.clamp(min=0)

    log_probs = F.log_softmax(shift_logits, dim=-1)  # [B, L-1, V]
    per_token_logp = torch.gather(
        log_probs, dim=-1, index=safe_labels.unsqueeze(-1)
    ).squeeze(-1)  # [B, L-1]

    masked_logp = per_token_logp * loss_mask.float()
    if average_log_prob:
        return masked_logp.sum(dim=-1) / loss_mask.float().sum(dim=-1).clamp(min=1.0)
    return masked_logp.sum(dim=-1)


def dpo_or_ipo_loss(
    policy_chosen_logp: torch.Tensor,
    policy_rejected_logp: torch.Tensor,
    ref_chosen_logp: torch.Tensor,
    ref_rejected_logp: torch.Tensor,
    beta: float = 0.1,
    use_ipo: bool = False,
    label_smoothing: float = 0.0,
) -> Tuple[torch.Tensor, torch.Tensor, torch.Tensor]:
    """
    计算标准 DPO(支持保守 cDPO 标签平滑)或 IPO 损失,并返回隐式奖励监控指标。
    输入张量形状均为 [B]。
    """
    chosen_rewards = beta * (policy_chosen_logp - ref_chosen_logp)      # [B]
    rejected_rewards = beta * (policy_rejected_logp - ref_rejected_logp)  # [B]
    logits_diff = chosen_rewards - rejected_rewards                     # [B]

    if use_ipo:
        # IPO: ((log(pi_w/ref_w) - log(pi_l/ref_l)) - 1/(2*beta))^2
        raw_diff = (policy_chosen_logp - ref_chosen_logp) - (policy_rejected_logp - ref_rejected_logp)
        loss = ((raw_diff - 1.0 / (2.0 * beta)) ** 2).mean()
    else:
        # 标准 DPO(当 label_smoothing > 0 时等价于抗噪 cDPO)
        loss = (
            -F.logsigmoid(logits_diff) * (1.0 - label_smoothing)
            - F.logsigmoid(-logits_diff) * label_smoothing
        ).mean()

    return loss, chosen_rewards.detach().mean(), rejected_rewards.detach().mean()


def simpo_loss(
    policy_chosen_avg_logp: torch.Tensor,
    policy_rejected_avg_logp: torch.Tensor,
    beta: float = 2.0,
    gamma: float = 0.5,
) -> Tuple[torch.Tensor, torch.Tensor]:
    """
    计算 SimPO 损失(无需参考模型,直接使用长度归一化平均对数概率与目标间隔 gamma)。
    输入张量形状均为 [B]。
    """
    # 注意:SimPO 长度归一化后量级变小,典型 beta 取值 2.0~2.5,远大于标准 DPO 的 0.1
    logits_diff = beta * (policy_chosen_avg_logp - policy_rejected_avg_logp) - gamma
    loss = -F.logsigmoid(logits_diff).mean()
    reward_acc = (policy_chosen_avg_logp > policy_rejected_avg_logp).float().mean()
    return loss, reward_acc


if __name__ == "__main__":
    torch.manual_seed(7)
    B, L, V = 4, 24, 100
    labels_w = torch.randint(0, V, (B, L))
    labels_l = torch.randint(0, V, (B, L))
    labels_w[:, :8] = IGNORE_INDEX  # 前 8 个词元为 Prompt
    labels_l[:, :8] = IGNORE_INDEX

    pi_logits_w = torch.randn(B, L, V, requires_grad=True)
    pi_logits_l = torch.randn(B, L, V, requires_grad=True)
    with torch.no_grad():
        ref_logits_w = pi_logits_w.detach() + torch.randn(B, L, V) * 0.05
        ref_logits_l = pi_logits_l.detach() + torch.randn(B, L, V) * 0.05

    pi_w = get_sequence_logprobs(pi_logits_w, labels_w, average_log_prob=False)
    pi_l = get_sequence_logprobs(pi_logits_l, labels_l, average_log_prob=False)
    ref_w = get_sequence_logprobs(ref_logits_w, labels_w, average_log_prob=False)
    ref_l = get_sequence_logprobs(ref_logits_l, labels_l, average_log_prob=False)

    dpo_l, r_w, r_l = dpo_or_ipo_loss(pi_w, pi_l, ref_w, ref_l, beta=0.1)

    sim_w = get_sequence_logprobs(pi_logits_w, labels_w, average_log_prob=True)
    sim_l = get_sequence_logprobs(pi_logits_l, labels_l, average_log_prob=True)
    sim_loss, acc = simpo_loss(sim_w, sim_l, beta=2.0, gamma=0.5)
    print(f"DPO loss: {dpo_l.item():.4f} (r_w={r_w:.3f}, r_l={r_l:.3f}) | SimPO loss: {sim_loss.item():.4f}")

工程实践与常见陷阱 ​

工程实践

  1. 利用 LoRA 共享参考模型权重实现零额外显存:在使用 LoRA 训练 DPO 时,根本不需要在显存中加载两份完整的百亿基座模型!只需加载一份冻结基座,计算参考模型对数概率时调用上下文管理器临时禁用 LoRA 适配器(with model.disable_adapter():)做无梯度前向即可;全参数 DPO 则可提前离线缓存整套数据集的 ref_logprobs 到磁盘,直接省去训练期一半显存。
  2. DPO + NLL 辅助损失缓解胜出概率同步下降:实践中常观察到一个反直觉现象——在标准 DPO 训练中,虽然 chosen_rewards - rejected_rewards 持续扩大,但胜出回复 yw 的绝对对数似然 log⁡πθ(yw∣x) 反而也在下降(只要落败回复 yl 降得更快,损失依然减小),这在数学推理或代码对齐中会导致正确率下滑。如 Llama 3 与 RPO 的标准做法,向 DPO 损失中加入极小权重的 SFT 锚定项 λnllLSFT(x,yw)(λnll≈0.05∼0.2),即可有效稳住胜出回复的生成似然。
  3. 极小学习率与严格的数据同分布性:DPO 的最优学习率通常比 SFT 再低一个数量级(如 5×10−7∼5×10−6),且训练 1∼2 个 Epoch 即可收敛;此外,尽量使用当前 SFT 模型自身采样生成的回复来构造偏好对(On-policy Data),效果显著好于直接照搬异构强模型生成的离策略偏好集。

常见陷阱

  1. 将 DPO 与 SimPO 的超参 β 混用:标准 DPO 对全序列对数概率求和(量级常在 −50∼−500),因此 β 通常很小(0.05∼0.5,默认 0.1);而 SimPO 对序列长度求平均(量级在 −0.5∼−3.0),因此 β 必须放大至 2.0∼10.0!若在 SimPO 中沿用 β=0.1,梯度将极其微弱。
  2. 忽视 chosen 与 rejected 在同一批次内的拼接效率:不要对 chosen 和 rejected 分开调用两次 model.forward()(在 DDP/FSDP 下会触发多余通信或梯度同步风险)。标准实现是将二者沿 Batch 维度拼接为 [2B, L] 一次性前向,再切分前一半为 chosen、后一半为 rejected。
  3. 偏好对过于相似或存在噪声反转:当 yw 与 yl 仅相差个别标点,或者人工/自动标注中存在 20% 以上的噪声翻转时,标准 DPO 会剧烈震荡。此时应启用保守 DPO(cDPO,设置 label_smoothing=0.1)或切换至具备有界回归特性的 IPO。

延伸阅读与参考论文 ​

  • Rafailov, R., Sharma, A., Mitchell, E., et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS 2023. arXiv:2305.18290 ↗
  • Azar, M. G., Rowland, M., Piot, B., et al. (2023). A General Theoretical Paradigm to Understand Learning from Human Preferences (IPO). AISTATS 2024. arXiv:2310.12036 ↗
  • Ethayarajh, K., Xu, W., Muennighoff, N., Jurafsky, D., & Kiela, D. (2024). KTO: Model Alignment as Prospect Theoretic Optimization. ICML 2024. arXiv:2402.01306 ↗
  • Hong, J., Lee, N., & Thorne, J. (2024). ORPO: Monolithic Preference Optimization without Reference Model. EMNLP 2024. arXiv:2403.07691 ↗
  • Meng, Y., Xia, M., & Chen, D. (2024). SimPO: Simple Preference Optimization with a Reference-Free Reward. NeurIPS 2024. arXiv:2405.14734 ↗
  • Guo, S., Zhang, B., Liu, T., et al. (2024). Direct Language Model Alignment from Online AI Feedback (Online DPO). arXiv:2402.04792 ↗