Skip to content

多轮工具交互与 Agentic RL:POMDP 建模、环境掩码与异步强化学习

将单轮 RLVR 扩展至多轮工具与环境交互,详解 POMDP 建模、观测掩码、信用分配与异步沙箱。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是多轮工具交互与 Agentic RL?

传统的大模型强化学习(如单轮数学题 GRPO)是“一问一答、一口气写完再判对错”。但真实的智能体需要一边思考、一边调用搜索引擎、跑终端代码、看报错信息、再改代码重试,经历十几轮环境交互。

Agentic RL 就是专门训练这种多轮闭环能力的强化学习范式:核心要解决“只对模型自己说的话求梯度、屏蔽掉外部工具返回文本(Observation Masking)”,以及如何在漫长多轮试错结束后,准确把最终成败功劳分摊到中间每一步决策上。

01 问题从何而来:模型会闭卷刷题了,怎么教它“开卷查资料、敲代码修 Bug”? ​

单轮 GRPO 与 RLVR 让大模型成了惊人的闭卷考试学霸——给它一道奥数题,它能在草稿纸上独自思考一万字然后精准作答。可一旦走出考场、进入真实工作场景,闭卷学霸立刻捉襟见肘:

  • 你问它今天刚发布的财报数据或冷门文献,它脑子里的静态参数根本没存过;
  • 你让它解一个高阶矩阵或验证一段 500 行的代码逻辑,靠纯心算极易走神,可明明敲一行 Python 跑 0.1 秒就有绝对准确的真值;
  • 如果只是硬塞一套固定脚本(比如传统 RAG“强行先搜一次再回答”,或只靠 SFT 抄几份操作录像),模型一旦遇到搜索没搜到、代码报红字,立刻就懵在原地反复打转。

于是 2025 年最火的后训练浪潮席卷而来:Agentic RL(多轮工具交互强化学习)——直接把搜索引擎、Python 沙箱、命令行终端接进强化学习闭环,让模型像真正的研究员一样,在真枪实弹的“查资料 → 看报错 → 改方案 → 再验证”中自己悟出最高效的工具使用战略!

核心设问

当模型的输出不再是一气呵成的独角戏,而是和外部工具“你一句、我一句”的多轮对话时,为什么直接套用单轮强化学习会立刻训练崩溃?我们需要哪些关键算法与工程改造,才能训出真正会查、会算、会 debug 的自主智能体?

02 核心直觉与生活类比 ​

要看懂 Search-R1(Jin et al., 2025 ↗)、ReTool(Feng et al., 2025 ↗)、RAGEN(Wang et al., 2025 ↗)与 SWE-RL(Wei et al., 2025 ↗)背后的奥秘,只要牢牢记住下面三个接地气的场景类比:

类比 · 类比一:只奖惩“你的操作”,绝不背诵“电脑的报错”(Observation Loss Masking)

想象一位资深厨师带徒弟做菜,全程录了像准备复盘打分:

  • 徒弟先想了一下(<think>),决定放盐、开大火(<code>);
  • 锅里的油突然滋啦溅起火星、烟雾报警器响了(环境返回的 <output>);
  • 徒弟立刻关小火补救,最后菜炒得色香味俱全,拿了满分 +1。

复盘时,师父应该表扬徒弟思考、调火、补救的动作,而绝不能强迫徒弟去模仿“烟雾报警器哔哔响”!

但在多轮拼接的文本序列里,模型生成的话和搜索引擎/沙箱吐回来的网页、终端报错都混在同一条长序列里。如果不加区分地整条算梯度,模型就会拼命学习“怎么模仿网页原文和 Python Traceback 报错”,甚至学会自己编造一段假搜索结果来偷懒!因此,多轮 Agentic RL 的第一铁律就是 Observation Token Loss Masking(环境观测损失掩码):凡是外部环境喂回来的词元,掩码全部置 0,梯度严禁穿透!

类比 · 类比二:不要让法拉利等快递员(异步沙箱与长尾调度)

在一批同时跑的 64 道多轮任务里,有 60 道题 2 秒钟就查完资料收工了,可偏偏有 4 道题在代码沙箱里编译 C++ 或连查 6 次网页花了 45 秒。

如果采用传统单轮 RL 的“全员同步等待”模式,价值百万的 GPU 集群就会干坐 43 秒发呆等那 4 个慢任务。现代 Agentic RL 把 GPU 推理引擎、CPU 异步隔离沙箱池 和 训练器 彻底解耦(参见异步 RL 基础设施):谁跑完一轮工具就立刻回到推理队列复用 KV Cache 前缀 继续下一轮,谁整条任务收工就立刻滑进训练队列,让显卡一刻不停歇!

类比 · 类比三:长征十步,功劳归谁?(多轮稀疏奖励的信用分配)

假如模型连查了 4 轮资料:前 3 轮的检索关键词精准得像侦探,把最关键的证据全挖出来了,唯独第 4 轮做汇总时粗心算错一个小数点,最终拿了 0 分。如果一竿子打翻一船人,把前 3 轮的精彩搜索全盘惩罚,模型就会越学越糊涂。

前沿解法就像“下棋复盘分支”:在关键中间轮次分叉采样多条后续路线,看看哪一次工具调用真正把胜率从 20% 拉升到了 80%,或者在超长任务里请回轮次级 Critic 估值,让每一轮的赏罚分毫不差!

03 把关键公式读成人话 ​

在数学上,多轮工具交互是一场部分可观测马尔可夫决策过程(POMDP),整条轨迹的概率可以干脆利落地拆成“归我管”和“归环境管”两半:

pθ(τ∣q)=∏k=1Kπθ(ak∣q,a<k,o<k)⏟模型动作:可求梯度⋅T(ok∣q,a≤k,o<k)⏟环境反馈:对 θ 梯度恒为 0

把公式读成直觉:- 每一轮 k 里,ak 是模型自己吐出的思考和工具指令(比如 <search>2025诺贝尔物理学奖</search>),ok 是外部世界塞回来的客观结果(比如 <information>...</information>)。

  • 因为外部搜索引擎和代码沙箱的运行规律不随模型权重 θ 改变,取对数求导后,右边那一半的梯度严格消失!

落实到多轮 Masked GRPO 损失函数上,只需引入一个 0/1 动作开关 mi,t:

J(θ)=E[1∑i,tmi,t∑i=1G∑t=1|τi|mi,t(min(ρi,tA^i,t,clip(ρi,t)A^i,t)−βDKLk3(πθ∥πref))]

把公式读成直觉:- 这里的 mi,t 就是那把精准的手术剪:模型自己说的话 mi,t=1,照常算策略梯度与 KL 惩罚;题目 Prompt 和工具吐回来的网页/终端日志 mi,t=0,连损失带 KL 散度一并屏蔽,分母也只除以真正属于模型的有效动作词元总数。

  • 别小看这一个乘号:在 Search-R1 的消融实验中,仅仅打开与关闭 m_{i,t},就决定了训练是稳步学会多跳检索、还是彻底崩盘胡言乱语!

04 它在模型里怎么工作 & 与上下游的关系 ​

看一眼 Search-R1 / ReTool 的单条轨迹长什么样,你就能瞬间秒懂多轮掩码在底层怎么运转:

  • 第 0 段(用户题目,mask = 0):"某芯片 2024 年流片工艺及主频是多少?"(不算梯度)
  • 第 1 段(模型动作,mask = 1):<think>需要查官方规格书</think><search>芯片 2024 规格 主频</search>(触发停顿符,算梯度)
  • 第 2 段(环境观测,mask = 0):<information>检索结果:仅提到采用 3nm 工艺,未提主频</information>(由搜索服务注入,严禁算梯度)
  • 第 3 段(模型补救动作,mask = 1):<think>信息不全,换个更精确的关键词追查</think><search>芯片 评测 最高主频 GHz</search>(算梯度)
  • 第 4 段(环境观测,mask = 0):<information>实测最高主频 3.8 GHz</information>(不算梯度)
  • 第 5 段(最终作答,mask = 1):<think>两项信息齐备</think><answer>3nm 工艺,3.8 GHz</answer>(算梯度,送去规则判分!)

站在整个大模型演进版图上,Agentic RL 串联起最核心的上下游生态:

  1. 上游脱胎于 GRPO-RLVR 与 工具调用智能体:直接继承无 Critic 的组相对优势与确定性规则裁判,同时把 ReAct 式的手工 Prompt 升级为内化进权重的本能反射;
  2. 中游深度依赖系统工程:高并发多轮交互极其吃基建,离不开 异步 RL 基础设施 的解耦调度、安全隔离微虚拟机(防代码逃逸)以及推理引擎的 Prefix Caching 前缀复用;
  3. 下游直接驱动新一代自主 Agent:在编程领域,它让 Coding Agent 学会在真实大型代码库里自主搜索源码、跑单测、读报错栈并多轮迭代修补丁;在长周期任务中,它还与 上下文工程 融合,教会模型自己决定何时截断冗余日志、何时浓缩记忆。

05 演化对比与避坑备忘 ​

对比维度传统工作流 RAG / ReAct单轮 GRPO-RLVR多轮 Agentic RL(Search-R1 / ReTool)
调用工具的时机写死流程或靠 Prompt 碰运气无工具(纯脑内推理)自主决策何时查、查几次、何时停
遇到报错/空结果极易死循环或胡编答案不涉及外部报错RL 涌现多轮改写查询与自动 Debug
是否需要观测掩码不适用仅掩码 Prompt必须严格掩码全部环境返回词元
系统架构复杂度低中(同步 Rollout 可跑)高(异步沙箱池 + 前缀缓存)

实战落地多轮 Agentic RL 时,三条血泪教训务必刻进检查清单:

  1. 必须由推理引擎强行截断工具闭合符:绝不要等模型一次性吐完再解析!要在采样参数里把 </search>、</code> 设成硬停顿符(Stop String),模型一吐完就立刻暂停、把真实工具结果喂回去,彻底堵死模型“自问自答伪造工具输出”的作弊路子。
  2. 切忌给“调用工具次数”发高额过程奖:如果你图省事,给“每调一次搜索或代码就奖 +0.1”,模型三百步之内就会变成“为了刷分而疯狂调用无意义代码”的刷分狂魔!奖励应尽量锚定最终可验证的任务成败,只对格式合规给极小引导分。
  3. 严控单次环境输出的上下文长度:一个 ls -R 或未清洗的网页可能瞬间吐出 20,000 个废词元,直接把显存撑爆或淹没模型注意力。务必在环境返回侧做好硬截断与结构化清洗,并在冷启动阶段先喂几百条合规多轮轨迹做轻量 SFT,避免纯随机探索前期全军覆没。

想查看多轮 POMDP 梯度严格推导、异步解耦系统数据流图以及可直接复用的 PyTorch 多轮 Trajectory Masking & Masked GRPO 源码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

如果说单轮 GRPO 与 RLVR 教会了大语言模型在“纸笔封闭考场”内进行长思维链深度推导,那么 多轮工具交互与 Agentic RL(智能体强化学习) 则是把考场大门推开,让模型在真实动态环境(搜索引擎、Python/Bash 代码沙箱、数据库、浏览器与操作系统)中,通过多轮“思考—调用工具—读取环境反馈—修正计划”的端到端试错自主习得复杂问题求解策略。从 Search-R1(Jin et al., 2025 ↗)、ToRL(Li et al., 2025 ↗)、ReTool(Feng et al., 2025 ↗)到 RAGEN(Wang et al., 2025 ↗)与 SWE-RL(Wei et al., 2025 ↗),Agentic RL 正成为大语言模型突破静态参数知识边界、迈向自主智能体的决定性范式。

直观理解

单轮 RLVR 像是在封闭教室里做数学竞赛:模型一口气写完草稿交卷,只听最后一声对错。而 Agentic RL 则像是把实习工程师放进真实开发机:他先思考(<think>)、敲命令查资料或跑脚本(<search> / <code>),然后停下来读取终端吐回的报错或网页摘要(<information> / <output>),再根据新线索调整方案。训练时最核心的纪律是 “只赏罚自己的操作,绝不把系统终端的报错当成自己的输出去算梯度”——这正是 Observation Token Loss Masking 的物理意义。

起源背景与演进脉络 ​

传统基于提示工程的 ReAct 智能体 与静态工作流 RAG 存在三大固有缺陷:

  1. 搜索与调用时机僵化:传统 RAG 往往“强制先检索一次再回答”,既无法在遇到未知专有名词时主动二次追问,也无法在已有足够把握时跳过冗余检索。
  2. 模仿学习(SFT)缺乏纠错韧性:仅在人类或强模型轨迹上做 SFT,一旦线上遇到工具报错、检索结果为空或代码编译失败等分布外(OOD)观测,模型往往陷入无限复读或直接放弃。
  3. 单轮推理无法外包精确计算:纯语言思维链在面对大整数算术、复杂符号化简、海量日志过滤或真实代码库验证时极易出错,而调用一次代码解释器即可瞬间获得确定性真值。

2025 年以来,研究者将 GRPO 与 RLVR 无缝拓展至多轮环境交互:

  • 搜索智能体 RL:Search-R1(2025 ↗)首次系统证明,仅靠最终答案 Exact Match 规则奖励与 Retrieved Token Loss Masking,即可让 LLM 自发学会在推理中途生成 <search> 查询词、消化 <information> 返回片段并进行多跳迭代检索。
  • 代码工具协同 RL:ReTool(2025 ↗)与 ToRL(2025 ↗)将 Python 解释器嵌入生成闭环,模型不仅学会了何时写代码验算,还自发涌现出“遇报错自动 debug 并重写代码”的多轮自愈行为。
  • 通用多轮状态环境与软件工程 RL:RAGEN(2025 ↗)剖析了多轮 RL 中的“回声陷阱(Echo Trap)”与轨迹级优势估计;SWE-RL(2025 ↗)则将真实 GitHub 仓库的单元测试结果作为可验证奖励,直接推动开源 Coding Agent 跃升。

核心原理与数学推导 ​

1. 多轮交互的 POMDP 轨迹建模 ​

在多轮工具交互场景下,世界状态(如完整互联网索引、远程文件系统或隐藏测试集)对模型不可直接观测,因此任务被严格建模为部分可观测马尔可夫决策过程(POMDP) M=(S,A,O,T,R,γ):

  • 历史上下文状态 hk:第 k 轮开始前,策略可见的全部历史词元序列 hk=(q,a1,o1,a2,o2,…,ak−1,ok−1);
  • 模型动作序列 ak:第 k 轮策略 πθ 自回归生成的一段连续词元,包含内部思考与工具调用指令(如 <think>...</think><search>query</search>),直至遇到预设停止符(Stop Token);
  • 环境观测序列 ok:外部执行器 E(搜索引擎 / 沙箱 / API)解析工具指令后返回的非策略生成词元(如 <information>...</information>),通过环境变量转移 ok∼T(⋅∣sk,ak) 拼接回上下文;
  • 整条交互轨迹 τ:交替展开直至模型输出终止标签(如 <answer>...</answer><eos>)或达到最大交互轮数 Kmax:
pθ(τ∣q)=∏k=1Kπθ(ak∣q,a<k,o<k)⏟策略可微部分⋅T(ok∣q,a≤k,o<k)⏟外部环境转移(不可微)

2. Observation Token Loss Masking(环境观测损失掩码) ​

对轨迹对数似然求关于参数 θ 的梯度时,由于外部环境转移概率 T(ok∣⋅) 不依赖模型参数 θ,其梯度严格为零:

∇θlog⁡pθ(τ∣q)=∑k=1K∇θlog⁡πθ(ak∣hk)+∑k=1K∇θlog⁡T(ok∣hk,ak)⏟=0

将其展平为词元级序列 y=(y1,y2,…,yT),必须构造显式二元动作掩码 mt∈{0,1}:当且仅当词元 yt 由策略模型自主生成时 mt=1;凡属提示词 q 或外部环境返回的观测词元 ok,严格置 mt=0。带掩码的多轮 GRPO 目标函数为:

JAgentic-GRPO(θ)=Eq,{τi}i=1G∼πθold,E[1∑i=1G∑t=1|τi|mi,t∑i=1G∑t=1|τi|mi,t(min(ρi,tA^i,t,clip(ρi,t,1−ϵlow,1+ϵhigh)A^i,t)−βDKLk3(πθ∥πref))]

为什么绝对不能省略 Observation Loss Masking?

  1. 梯度污染与策略崩溃:若对环境返回词元计算策略梯度,模型会被强迫“学会复述/模仿搜索网页正文或 Python Traceback 报错”,甚至在正优势轨迹里学会伪造 <information> 幻觉输出而不去真正调用工具!
  2. KL 散度爆炸:参考模型 πref 与当前策略 πθ 对外部长网页片段的概率分布差异巨大,不掩码会导致 KL 正则项被观测噪声主导,彻底淹没有效动作梯度。

3. 稀疏结果奖励与多轮过程信用分配 ​

在多轮轨迹中,最终结果奖励 R(τ)∈{0,1} 往往延迟至第 K 轮结束才揭晓,导致严峻的跨轮次信用分配(Multi-Turn Credit Assignment) 挑战:若模型前 3 轮搜到了关键证据,仅在第 4 轮写错一个算术符号,朴素轨迹级优势会全盘惩罚前 3 轮的优秀检索行为。

当前前沿工程主要采用三种信用分配增强机制:

  1. 多维复合可验证奖励:在最终答案正确性 Racc 基础上,叠加极轻量格式奖励 Rfmt(工具 JSON/标签合法性)与工具效率惩罚(抑制无意义重复查询),同时严防把高权重赋给可被刷分的中间工具调用次数。
  2. 层级步级优势(Step-Level / Tree-Structured Advantage):如 GiGPO 与树搜索多轮 Rollout,在共享前缀的中间状态 hk 处分叉采样多条分支,用分支均分估计当前状态价值 V(hk),从而精确区分“哪一轮工具调用真正抬高了胜率”。
  3. 带状态掩码的 Turn-Level GAE(PPO 路线):在长周期高方差环境(如 20+ 轮软件工程修补)中,保留 Critic 网络并在轮次边界计算广义优势估计(GAE),以小步估值方差换取更精准的过程信用归因。

多轮异步系统架构与数据流图 ​

多轮 Agentic RL 最大的系统挑战在于极端长尾延迟:同一批次中,有的轨迹 1 轮结束,有的轨迹调用 8 次远程搜索或运行耗时 30 秒的单元测试。若采用同步批处理,昂贵的 GPU 集群将在漫长等待沙箱 IO 中严重空转(详见异步 RL 基础设施)。现代 Agentic RL 普遍采用 解耦异步 Rollout + 沙箱 worker 池 架构:

图表加载中...

单轮 RLVR 与多轮 Agentic RL 横向对比 ​

维度单轮 GRPO-RLVRSearch-R1(搜索智能体)ReTool / ToRL(代码工具)SWE-RL / 多轮自主 Agent
动作空间纯自然语言思维链思考 + 检索查询词思考 + 可执行 Python 代码思考 + Bash / 编辑器 / 浏览器
环境转移无外部状态转移只读检索语料库有状态/无状态解释器沙箱强有状态文件系统与进程环境
损失掩码仅掩码 Prompt 词元Prompt + 检索片段掩码Prompt + 执行输出掩码Prompt + 全部终端观测掩码
典型轮数K=1K=2∼6 轮K=2∼8 轮K=10∼50+ 轮
主要瓶颈长序列显存与解码耗时检索延迟与相关性噪声沙箱安全隔离与并发吞吐长尾轨迹空转、上下文溢出与信用分配

核心 PyTorch 参考实现:多轮轨迹掩码与 Masked GRPO ​

下面给出多轮 Agentic RL 中最核心的两个模块:逐段拼接构建 Action Loss Mask 与 Token-Level Masked GRPO 策略损失:

python
import torch
import torch.nn.functional as F
from typing import List, Tuple


def build_multiturn_trajectory_and_mask(
    segments: List[Tuple[List[int], bool]],
) -> Tuple[torch.Tensor, torch.Tensor]:
    """
    将多轮交互片段拼接为单条训练序列,并生成严格的 Action Loss Mask。
    segments: 列表元素为 (token_ids, is_model_action)
      - Prompt / 环境观测 (<information>, <output>): is_model_action = False -> mask = 0
      - 模型思考与工具调用 (<think>, <search>, <code>, <answer>): is_model_action = True -> mask = 1
    """
    input_ids: List[int] = []
    action_mask: List[int] = []
    for tok_ids, is_action in segments:
        input_ids.extend(tok_ids)
        action_mask.extend([1 if is_action else 0] * len(tok_ids))
    return (
        torch.tensor(input_ids, dtype=torch.long),
        torch.tensor(action_mask, dtype=torch.float32),
    )


def masked_agentic_grpo_loss(
    logp_new: torch.Tensor,      # [G, T-1] 当前策略对下一词元的对数概率
    logp_old: torch.Tensor,      # [G, T-1] 采样旧策略对数概率
    logp_ref: torch.Tensor,      # [G, T-1] 参考策略对数概率
    action_mask: torch.Tensor,   # [G, T-1] 对齐后的动作掩码(环境观测与 padding 均为 0)
    rewards: torch.Tensor,       # [G]      同组 G 条多轮轨迹的最终规则奖励
    clip_low: float = 0.2,
    clip_high: float = 0.28,
    kl_coef: float = 0.001,
    remove_std_bias: bool = True,
) -> torch.Tensor:
    """支持 Observation Masking、Clip-Higher 与 Token-Level 归一化的多轮 GRPO 损失。"""
    # 1. 组内相对优势(Dr.GRPO 风格可关闭 std 除法以消除难度偏置)
    mean_r = rewards.mean()
    if remove_std_bias:
        adv = rewards - mean_r
    else:
        adv = (rewards - mean_r) / (rewards.std().clamp_min(1e-6))
    adv = adv.unsqueeze(-1)  # [G, 1] 广播到该轨迹所有词元

    # 2. 重要性采样比与非对称 Clip-Higher
    ratio = torch.exp(logp_new - logp_old.detach())
    clipped_ratio = torch.clamp(ratio, 1.0 - clip_low, 1.0 + clip_high)
    pg_obj = torch.minimum(ratio * adv, clipped_ratio * adv)

    # 3. Schulman k3 非负 KL 估计器(同样严格受 action_mask 约束)
    log_ref_minus_new = logp_ref.detach() - logp_new
    kl_k3 = torch.exp(log_ref_minus_new) - log_ref_minus_new - 1.0

    # 4. 仅在模型自身生成的动作词元上做全局 Token-Level 平均,彻底隔离观测噪声
    per_token_loss = -(pg_obj - kl_coef * kl_k3)
    valid_tokens = action_mask.sum().clamp_min(1.0)
    return (per_token_loss * action_mask).sum() / valid_tokens

工程实践与常见陷阱 ​

陷阱一:工具调用“奖励黑客”与幻觉伪造观测

如果模型在训练早期发现自己直接输出 <information>答案是 42</information> 也能蒙混过关,或者沙箱对异常退出返回模糊信息,模型可能学会规避真实调用或滥用沙箱资源(例如死循环占满 CPU、在文件系统里搜索隐藏测试集)。 最佳实践:

  1. 在推理引擎侧强制设置 stop_strings=["</search>", "</code>"],一旦生成闭合标签立刻截断采样、交由外部执行器注入不可伪造的观测标签;
  2. 沙箱必须启用强隔离(如 Firecracker microVM / 无网络隔离容器)、严格单次执行超时(如 3–10 秒)与只读挂载,杜绝数据泄露与宿主机逃逸。

陷阱二:多轮上下文膨胀、KV 前缀失效与长尾空转

在 10 轮以上的自主任务中,单次网页抓取或命令输出就可能吐出上万词元,迅速撑爆显存或稀释注意力;若每轮都把完整历史重新做 Prefill,计算量将呈轮数平方级爆炸。 最佳实践:

  1. 推理侧务必开启 Prefix Caching(前缀 PagedAttention KV Cache 复用),保证第 k 轮只需增量计算最新追加的观测词元 ok−1;
  2. 对单次工具返回做硬长度截断或结构化摘要(参见上下文工程),防止单条冗余输出摧毁整条轨迹;
  3. 采用部分完成异步流式调度(Partial Rollout / Async Actor-Learner):不再死等全批次最慢的那条沙箱轨迹,而是用滑动队列持续向训练器喂入已完成的多轮轨迹,可将集群 GPU 利用率提升 2--4×。

冷启动秘诀:轻量多轮 SFT + 多轮 RLVR

纯基座模型直接跑多轮 Agentic RL,前期往往因为不熟悉工具标签格式或不知何时收手,导致成千上万次采样全军覆没(零梯度死区)。实践中先用几百至几千条高质量多轮工具交互轨迹做极轻量冷启动 SFT(只教通“如何合法调用工具与处理报错”),再切入全量多轮 GRPO,收敛速度与最终上限均显著优于从零探索。

参考文献 ​

  1. Jin, B., Zeng, H., Yue, Z., et al. (2025). Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning. arXiv:2503.09516 ↗
  2. Feng, J., Huang, S., Qu, X., et al. (2025). ReTool: Reinforcement Learning for Strategic Tool Use in LLMs. arXiv:2504.11536 ↗
  3. Li, X., Zou, H., & Liu, P. (2025). ToRL: Scaling Tool-Integrated RL. arXiv:2503.23383 ↗
  4. Wang, Z., Wang, K., Wang, Q., et al. (2025). RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn RL. arXiv:2504.20073 ↗
  5. Wei, Y., Duchenne, O., Copet, J., et al. (2025). SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution. arXiv:2502.18449 ↗
  6. Yao, S., Zhao, J., Yu, D., et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023. arXiv:2210.03629 ↗
  7. DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948 ↗