外观
概念定义 · 什么是拒绝采样微调(RFT / STaR)与 Self-Play 对齐?
如果觉得在线强化学习(PPO / GRPO)工程太重,有没有更稳妥的迭代提升办法?拒绝采样微调(RFT / STaR) 的做法极其直白有效:让当前模型对同一批难题反复多抽几遍答案,用验证器把答错的全扔掉(拒绝采样),只留下答对的高质量推理过程再回头做监督微调(SFT),一轮轮像滚雪球一样自我拔高。
Self-Play(自博弈对齐,如 SPIN) 则更进一步,让当前模型和上一代旧模型同台对抗,不断逼自己生成让判别器都分不出真伪的更高质量回答。
01 问题从何而来:模型明明“偶尔能做对”,怎么把运气变成真本事?
训过大模型的人都有过一个极其奇妙的发现:给模型一道很难的竞赛数学题,让它只答一次(Pass@1),正确率可能只有 20%;但如果允许它独立试做 32 次(Pass@32),里面至少有一份答对的概率往往高达 75%!
这说明模型大脑里早就藏着解决难题的潜力,只是平时自回归生成时容易在某一步“手滑”走岔了路。可问题是:
于是研究者灵机一动:既然模型自己试 32 次就能撞出好答案,那我们干脆把好答案挑出来,让模型把“自己超常发挥的杰作”反复精读背下来,不就能把 75% 的撞大运沉淀成稳稳的日常实力吗?
核心设问
只靠“模型自己出卷、验证筛选、再自我复习”(RFT / ReST-EM),或者让新一代模型与上一代自己“左右互搏”(SPIN / Nash-MD),凭什么能在不增加人类标注的前提下,实现一轮又一轮的自我拔高?
02 核心直觉与生活类比
这条技术路线演进出了三套极其优雅的“自学成才”兵法,分别覆盖有标准答案、有固定范文、以及连人类意见都不统一的复杂场景:
类比 · 兵法一:精品草稿精选法(STaR 与 ReST-EM)
想象一位备战奥数的同学在刷真题,身边只有一本只印着最终答案的答案册(没有名师讲解):
- 第一步(E 步·多路试错并筛选):面对一道难题,他一口气用不同思路打 16 份草稿,算完后拿答案册一对,把算错的 13 份直接揉成纸团扔进垃圾桶,只留下算对的那 3 份思路清晰的草稿,抄进《精品解题集》;如果 16 次全军覆没,STaR(Zelikman et al., 2022 ↗)还允许他“偷看一眼最终答案再倒推过程”(合理化),强行补齐思维断层。
- 第二步(M 步·回炉重修):攒够一批精品草稿后,他合上书本,把这些高质量解法当作新教材重新系统精读一遍(标准 SFT 微调)。读完后内功大涨,下一轮再去刷更难的题,循环往复!
类比 · 兵法二:金庸式左右互搏(SPIN 自博弈)
可如果是写散文、聊哲学这种没有唯一标准答案的任务,根本没有“对错阅卷机”怎么办?SPIN(Chen et al., 2024 ↗)给出了绝妙的“真假美猴王”玩法:
- 手头只有一份固定的人类优秀范文集(真迹),再让上一代的自己针对同样的问题写一份回答(仿品);
- 逼着新一代的自己既当选手又当鉴宝师:把人类真迹的分往高处拉,把旧版自己的仿品分往低处踩;
- 一轮之后,新一代模仿得更像大师了;下一轮,再拿这个更强的自己当假想敌继续升级。直到某天模型生成的作品已经以假乱真、连自己都分不清真假,它就追平了人类范文的最高分布!
类比 · 兵法三:破除“石头剪刀布”的棋手对弈(Nash-MD)
在通用对话里,人类审美往往没有绝对排名:有人偏爱言简意赅,有人偏爱详尽举例,甚至出现
Nash-MD(Munos et al., 2023 ↗)干脆像围棋 AI 一样,把对齐变成双人零和博弈:让模型不断和“当前自己与初始基座混合而成的镜像对手”下棋,最终收敛到一个谁也钻不了空子的纳什均衡点。
03 把关键公式读成人话
在 Google DeepMind 的 ReST-EM(Singh et al., 2023 ↗)论文中,看似朴素的“多采样 + 挑对的微调”被证明严格等价于统计学里大名鼎鼎的期望最大化(EM)算法:
把公式读成直觉:- 左边 E 步其实就在算“在保证答对的条件下,当前模型最可能写出什么样的好过程”。因为验证器非 0 即 1,这个看似深奥的贝叶斯后验根本不用手算——你只要采样
- 右边 M 步则完全退化成了最朴素、最稳如泰山的交叉熵微调,彻底避开了在线强化学习里恼人的梯度高方差与超参玄学。
- 隐藏的工程秘诀:论文发现 M 步每次最好从最原始的基座模型
重新微调(而不是在上轮微调后的模型上继续累加),能大幅减少对早期简单题的过拟合与灾难性遗忘!
而 SPIN 把 DPO 的隐式奖励玩成了自博弈对抗损失:
把公式读成直觉:括号里对比的是两笔账:新模型
只有当
04 它在模型里怎么工作 & 与上下游的关系
把一整轮 ReST-EM 拒绝采样飞轮 拆成慢动作,其实只有四个极其干净的步骤:
- 大批量发散采样:把当前策略
放上推理集群,调高温度(如 ),对每道题一口气采样 或 条不同思路的草稿; - 铁面裁判过筛子:数学和代码题直接送进 SymPy 或代码单元测试沙箱验明正身;开放写作和通用对话题则请奖励模型或规则过滤器打分,淘汰不合格样本;
- 配额限流与去重:把每道简单题入选条数封顶(比如最多留 3 条),并去掉内容高度雷同的轨迹,再混入一定比例的通用安全与人类对话语料;
- 回到基座重新微调:拿着这份焕然一新的精选集,从初始基座
重新跑一轮稳如泰山的 SFT,产出的更强模型 立马接棒进入下一轮采样!
在 2025 年之后的顶级大模型流水线(尤其是 DeepSeek-R1,DeepSeek-AI, 2025 ↗)里,RFT 并不是 GRPO-RLVR 的低配替代品,而是和它严丝合缝咬合的双引擎飞轮:
- 上游承接 SFT 与 奖励模型:RFT 直接复用 SFT 的稳定训练设施,有规则验证器(数学/代码)就用规则筛,没有规则(写作/开放问答)就请奖励模型当筛子;
- 中游与 GRPO / RLVR 接力:纯在线 RL 虽然能把长思维链推理上限顶破天,但容易跑偏格式、甚至丧失通用写作和礼貌对话能力;于是 DeepSeek-R1 在第一阶段大规模 GRPO 训出强推理专家后,第三阶段立刻切回 RFT 拒绝采样——用专家模型采样筛选 60 万条最干净的推理轨迹,混入 20 万条通用对话、写作与安全数据,从基座模型重新 SFT 融合,既保住了神级推理,又顺手治好了语言混杂与通用能力退化;
- 下游守护合成数据飞轮:没有验证过滤的盲目自我生成会导致严重的 Model Collapse(模型坍塌),而 RFT 里的“外部客观验证过滤”正是打破坍塌、让合成数据越滚越强的安全阀。
05 演化对比与避坑备忘
| 维度 | ReST-EM / RFT | SPIN 自博弈 | Nash-MD | GRPO / RLVR |
|---|---|---|---|---|
| 核心反馈 | 规则验证器或阈值 RM | 固定人类范文 vs 旧版自己 | 成对偏好胜率模型 | 组内相对规则奖励 |
| 利用错题吗? | 不利用(直接丢弃) | 利用(旧版输出作负样本) | 利用(对手实时博弈) | 利用(负优势直接压制) |
| 训练稳定性 | 极高(纯 SFT 损失) | 高(同 DPO 级别) | 中高 | 中(需精细调熵与裁剪) |
| 最佳主战场 | 多能力融合、稳健提分 | 无裁判场景榨干 SFT 数据 | 复杂循环偏好通用对齐 | 冲刺推理与长思维链上限 |
落地 RFT 与自博弈时,四条实战经验一定要牢记:
- 小心“简单题淹死难题”:如果每道简单题采样 32 次对 30 次、难题只对 1 次,直接全收进训练集会让模型严重偏科、思维多样性骤降。务必给每道题设置入选配额上限(比如最多留 2~4 条)并做语义去重。
- 严防“负负得正的蒙对草稿”:在四选一选择题或简单数字题里,模型常会胡扯一通却碰巧蒙中选项。把这种逻辑稀碎的“假正样本”喂回训练,会瞬间污染推理能力——高阶流水线一定要叠加格式、语言纯净度与逻辑一致性复核。
- SPIN 切忌跑太多轮过拟合:由于人类示范集是固定不变的,SPIN 一般跑 2~3 轮收益最大,继续硬跑会让模型死记硬背参考集的表面文风而非真实泛化能力。
- 善用“先 RL 探上限、再 RFT 稳收口”:工业界做多能力统一模型时,最稳的打法是先让各个垂直领域的 GRPO-RLVR 冲出最强专家,再用一轮混合 RFT 把各家精华无痛融进同一个底座。
想查阅 ReST-EM 的完整 ELBO 变分推导、Nash-MD 纳什均衡目标、DeepSeek-R1 飞轮架构图以及可直接运行的 PyTorch ReST-EM / SPIN 代码?按快捷键
M或点击顶部技术 Wiki随时切换。
拒绝采样微调(Rejection Sampling Fine-Tuning, RFT)与自博弈对齐(Self-Play Alignment)构成了介于静态监督微调与全在线强化学习(RLHF-PPO、GRPO 与 RLVR)之间的核心范式。其核心洞察极其简洁:大语言模型在采样阶段的“探索上限(Pass@K)”往往远高于单次贪婪解码的“平均表现(Pass@1)”。通过反复执行“多路采样—验证筛选—重训策略”的闭环,或让当前模型与上一代自身展开隐式对抗博弈,模型可以在不依赖昂贵 Critic 网络与高方差在线策略梯度的前提下,实现稳定、可扩展的自我拔高(Self-Improvement)。
直观理解
如果把 SFT 比作“只抄老师给的标准答案”,把 GRPO 比作“每次考完试都用正负奖惩微调解题习惯”,那么 RFT / ReST-EM 就是 “错题本与精品草稿精选法”:面对一道题,先让模型自己写 16 份草稿,把算对的那几份高质量推理挑出来收进精选集,重新精读背诵一遍,下一轮再基于更强的自己去挑战更难的题;而 SPIN 则是 “左右互搏”:把上一轮的自己当成假想敌,逼着新一代模型学会一眼分辨“人类真迹”与“旧版自己的仿品”,直到旧版自己生成的回答好到连新版也分不清真假为止。
起源背景与演进脉络
在推理与通用对齐两条主线上,RFT 与 Self-Play 经历了四次关键范式跃迁:
- STaR(Self-Taught Reasoner,2022):Zelikman 等人(2022 ↗)针对思维链推理标注稀缺问题提出自举框架——让模型自主生成推理过程与答案,仅保留答对轨迹微调;对答错的难题则引入合理化(Rationalization) 机制,即把标准答案作为提示塞进输入,倒推合理化思维链以救活冷启动难题。
- RFT 与 ReST / ReST-EM(2023):Yuan 等人(2023 ↗)在数学任务上系统量化了 RFT 的采样扩展律;Google DeepMind 团队在 ReST(Gulcehre et al., 2023 ↗)与 ReST-EM(Singh et al., 2023 ↗)中,首次将拒绝采样迭代严格统一为期望最大化(Expectation-Maximization, EM) 框架,并证明在可验证推理任务上,ReST-EM 仅需极低工程复杂度即可大幅超越单轮 SFT 并媲美在线 RL。
- SPIN 与 Nash-MD(2023–2024):当缺乏外部正确性裁判时,Chen 等人(2024 ↗)提出 SPIN(Self-Play Fine-Tuning),无需额外人类偏好标注,仅靠固定的人类示范集即可让当前策略与上一轮旧策略展开对抗博弈;与此同时,Munos 等人(2023 ↗)针对非传递性人类偏好(例如“石头剪刀布”式的循环偏好)提出 Nash-MD(Nash Learning from Human Feedback),通过镜像下降求解双人零和博弈的纳什均衡策略。
- RFT + RLVR 工业双引擎飞轮(2025):在 DeepSeek-R1(DeepSeek-AI, 2025 ↗)与 Llama 3 等现代后训练流水线中,RFT 不再被视为在线 RL 的廉价替代品,而是与 GRPO 深度耦合——先用 RLVR 探索出高上限推理策略,再用 RFT 过滤海量轨迹并混入通用/安全数据重置基座分布,随后开启下一轮 RL,构筑了持续进化的多阶段对齐飞轮。
核心原理与数学推导
1. ReST-EM:将拒绝采样严格推导为期望最大化
考虑给定问题
我们的目标是最大化模型答对问题的边缘对数似然
ReST-EM 在两个步骤之间交替最大化下界
- E 步(Generate & Filter,固定
优化 ):令 关于 取极大值(即 KL 散度为零),闭式解恰好为按奖励加权的贝叶斯后验:
当
- M 步(Improve,固定
优化 ):丢弃与 无关的常数项,最大化 退化为在精选数据集 上的加权极大似然估计(即标准 SFT 交叉熵损失):
为什么 M 步通常要从初始基座
Singh 等人(2023)在 ReST-EM 实验中发现:每一轮 M 步若直接在上轮检查点
2. SPIN:基于隐式对抗的自博弈微调
在开放式对话等缺乏客观对错验证器的场景,SPIN 将固定的人类示范数据
借鉴 DPO 的隐式奖励参数化,定义判别器打分函数
其中
3. Nash-MD:面向非传递偏好的纳什均衡对齐
经典 Bradley-Terry 奖励模型隐含了“人类偏好必然满足传递性(
Nash-MD 通过在线镜像下降(Mirror Descent)构造几何混合对手
算法架构与数据流图
以下流程图展示了工业界最具代表性的 DeepSeek-R1 风格多阶段 RFT + RLVR 混合演化飞轮,以及 ReST-EM 与 SPIN 的核心闭环路径:
图表加载中...
相关算法横向对比
| 算法范式 | 监督与反馈信号 | 负样本利用方式 | 训练核心损失 | 典型优势与边界 |
|---|---|---|---|---|
| STaR (2022 ↗) | 确定性答案校验 | 丢弃(或答案提示合理化) | 标准交叉熵(SFT) | 开创思维链自举;合理化易引入“事后诸葛亮”逻辑跳跃 |
| ReST-EM (2023 ↗) | 规则验证器 / 阈值 RM | 严格丢弃(仅学正样本) | 基座重启 SFT 损失 | EM 理论完备、极度稳定;无显式负梯度压制重复错误 |
| SPIN (2024 ↗) | 固定人类 SFT 示范集 | 旧策略采样轨迹作为负样本 | 隐式奖励 Logistic 对抗损失 | 零额外标注挖掘 SFT 上限;受限于静态人工示范天花板 |
| Nash-MD (2023 ↗) | 成对偏好模型 | 与几何混合对手实时对弈 | 镜像下降策略梯度 | 严格解决非传递循环偏好;需高质量成对偏好裁判 |
| GRPO-RLVR (2025 ↗) | 确定性规则验证器 | 组内相对负优势直接施压 | PPO 裁剪 + | 同时利用正负信号、探索上限最高;对超参与采样多样性敏感 |
核心 PyTorch 参考实现
下面给出可运行的核心实现,涵盖 ReST-EM 的 E/M 步过滤加权损失 与 SPIN 自博弈隐式对抗损失(复用批量对数概率计算):
python
import torch
import torch.nn.functional as F
def sequence_logprobs(
logits: torch.Tensor,
labels: torch.Tensor,
ignore_index: int = -100,
) -> torch.Tensor:
"""计算每条回复序列的条件对数似然之和 sum_t log pi(y_t | x, y_<t)。"""
# 自回归偏移对齐: logits[:, :-1] 预测 labels[:, 1:]
shift_logits = logits[:, :-1, :]
shift_labels = labels[:, 1:]
valid_mask = shift_labels.ne(ignore_index)
safe_labels = shift_labels.masked_fill(~valid_mask, 0)
token_logp = F.log_softmax(shift_logits, dim=-1).gather(
dim=-1, index=safe_labels.unsqueeze(-1)
).squeeze(-1)
return (token_logp * valid_mask).sum(dim=-1)
def rest_em_m_step_loss(
policy_logits: torch.Tensor,
labels: torch.Tensor,
rewards: torch.Tensor,
threshold: float = 0.5,
ignore_index: int = -100,
) -> torch.Tensor:
"""ReST-EM 的 M 步损失:过滤低奖励轨迹,仅对通过验证的高质轨迹求负对数似然。"""
shift_logits = policy_logits[:, :-1, :]
shift_labels = labels[:, 1:]
valid_mask = shift_labels.ne(ignore_index)
# E 步筛选指示器 I[r(x, y) > threshold]
accept_mask = (rewards > threshold).float() # [B]
if accept_mask.sum() == 0:
return policy_logits.sum() * 0.0
token_nll = F.cross_entropy(
shift_logits.reshape(-1, shift_logits.size(-1)),
shift_labels.reshape(-1),
ignore_index=ignore_index,
reduction="none",
).view_as(shift_labels)
# 按有效词元数归一化的样本级 NLL,再乘以过滤掩码
seq_nll = (token_nll * valid_mask).sum(dim=-1) / valid_mask.sum(dim=-1).clamp_min(1)
return (seq_nll * accept_mask).sum() / accept_mask.sum()
def spin_self_play_loss(
pi_real_logp: torch.Tensor,
pi_gen_logp: torch.Tensor,
old_real_logp: torch.Tensor,
old_gen_logp: torch.Tensor,
beta: float = 0.1,
) -> torch.Tensor:
"""SPIN 自博弈损失:拉高人类真实样本相对旧策略的隐式奖励,压低旧策略自生成样本。"""
# 隐式奖励差: beta * [log(pi/pi_old)(y_real) - log(pi/pi_old)(y_gen)]
real_ratio = pi_real_logp - old_real_logp.detach()
gen_ratio = pi_gen_logp - old_gen_logp.detach()
margin = beta * (real_ratio - gen_ratio)
# Logistic 损失 log(1 + exp(-margin)) = softplus(-margin)
return F.softplus(-margin).mean()工程实践与常见陷阱
陷阱一:只学正样本引发的“多样性坍塌”与重复捷径
单纯的 RFT / ReST-EM 缺乏显式负梯度。若同一道简单题采样 32 次答对 30 次,而难题只答对 1 次,直接全量入库会导致训练集被简单题和单一模板严重淹没,数轮后模型熵急剧萎缩(详见合成数据飞轮与 Model Collapse)。 最佳实践:对每道题设置最大入选条数上限(如每题最多保留
陷阱二:虚假正确(False Positive)与推理作弊污染
在多项选择题或短数值填空题中,模型常常通过错误的推理过程“负负得正”猜对最终答案。一旦这些逻辑错误的轨迹通过答案验证器进入 M 步微调,会迅速毒化模型的推理连贯性。 最佳实践:避免在低熵选项题(如四选一)上盲目跑 RFT;引入过程一致性过滤(如移除中英混杂、自相矛盾、极短跳步或靠 LLM-as-a-Judge 复核逻辑严谨性),正如 DeepSeek-R1 第三阶段在 RFT 中结合了规则校验与生成式奖励裁判双重把关。
工程选型指南:何时用 RFT,何时切到在线 GRPO?
- 优先使用 RFT / ReST-EM:算力与工程人力有限、追求 100% 训练稳定性、或需要将多任务能力(推理 + 通用对话 + 长文本 + 安全)融合进同一个基座模型时(例如 DeepSeek-R1 第三阶段的 80 万条混合 RFT)。
- 优先使用在线 GRPO / RLVR:希望突破当前模型 Pass@1 与 Pass@K 边界、利用负样本梯度彻底戒除顽固错误习惯,或激发深度长链自我反思与探索行为时。
- 工业最优解:将二者串联为交替飞轮——用在线 RL 推高能力上限,再用 RFT 清洗风格、对齐格式、整合多领域能力并沉淀为更强的下一代起点。
参考文献
- Zelikman, E., Wu, Y., Mu, J., & Goodman, N. (2022). STaR: Bootstrapping Reasoning With Reasoning. NeurIPS 2022. arXiv:2203.14465 ↗
- Yuan, Z., Yuan, H., Li, C., Dong, G., Lu, K., Tan, C., Zhou, C., & Zhou, J. (2023). Scaling Relationship on Learning Mathematical Reasoning with Large Language Models. arXiv:2308.01825 ↗
- Gulcehre, C., Paine, T. L., Srinivasan, S., et al. (2023). Reinforced Self-Training (ReST) for Language Modeling. arXiv:2308.08998 ↗
- Singh, A., Co-Reyes, J. D., Agarwal, R., et al. (2023). Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models (ReST-EM). TMLR 2024. arXiv:2312.06585 ↗
- Chen, Z., Deng, Y., Yuan, H., Ji, K., & Gu, Q. (2024). Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models (SPIN). ICML 2024. arXiv:2401.01335 ↗
- Munos, R., Valko, M., Calandriello, D., et al. (2023). Nash Learning from Human Feedback (Nash-MD). ICML 2024. arXiv:2312.00886 ↗
- DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948 ↗