外观
概念定义 · 什么是多轮工具交互与 Agentic RL?
传统的大模型强化学习(如单轮数学题 GRPO)是“一问一答、一口气写完再判对错”。但真实的智能体需要一边思考、一边调用搜索引擎、跑终端代码、看报错信息、再改代码重试,经历十几轮环境交互。
Agentic RL 就是专门训练这种多轮闭环能力的强化学习范式:核心要解决“只对模型自己说的话求梯度、屏蔽掉外部工具返回文本(Observation Masking)”,以及如何在漫长多轮试错结束后,准确把最终成败功劳分摊到中间每一步决策上。
01 问题从何而来:模型会闭卷刷题了,怎么教它“开卷查资料、敲代码修 Bug”?
单轮 GRPO 与 RLVR 让大模型成了惊人的闭卷考试学霸——给它一道奥数题,它能在草稿纸上独自思考一万字然后精准作答。可一旦走出考场、进入真实工作场景,闭卷学霸立刻捉襟见肘:
- 你问它今天刚发布的财报数据或冷门文献,它脑子里的静态参数根本没存过;
- 你让它解一个高阶矩阵或验证一段 500 行的代码逻辑,靠纯心算极易走神,可明明敲一行 Python 跑 0.1 秒就有绝对准确的真值;
- 如果只是硬塞一套固定脚本(比如传统 RAG“强行先搜一次再回答”,或只靠 SFT 抄几份操作录像),模型一旦遇到搜索没搜到、代码报红字,立刻就懵在原地反复打转。
于是 2025 年最火的后训练浪潮席卷而来:Agentic RL(多轮工具交互强化学习)——直接把搜索引擎、Python 沙箱、命令行终端接进强化学习闭环,让模型像真正的研究员一样,在真枪实弹的“查资料 → 看报错 → 改方案 → 再验证”中自己悟出最高效的工具使用战略!
核心设问
当模型的输出不再是一气呵成的独角戏,而是和外部工具“你一句、我一句”的多轮对话时,为什么直接套用单轮强化学习会立刻训练崩溃?我们需要哪些关键算法与工程改造,才能训出真正会查、会算、会 debug 的自主智能体?
02 核心直觉与生活类比
要看懂 Search-R1(Jin et al., 2025 ↗)、ReTool(Feng et al., 2025 ↗)、RAGEN(Wang et al., 2025 ↗)与 SWE-RL(Wei et al., 2025 ↗)背后的奥秘,只要牢牢记住下面三个接地气的场景类比:
类比 · 类比一:只奖惩“你的操作”,绝不背诵“电脑的报错”(Observation Loss Masking)
想象一位资深厨师带徒弟做菜,全程录了像准备复盘打分:
- 徒弟先想了一下(
<think>),决定放盐、开大火(<code>); - 锅里的油突然滋啦溅起火星、烟雾报警器响了(环境返回的
<output>); - 徒弟立刻关小火补救,最后菜炒得色香味俱全,拿了满分
+1。
复盘时,师父应该表扬徒弟思考、调火、补救的动作,而绝不能强迫徒弟去模仿“烟雾报警器哔哔响”!
但在多轮拼接的文本序列里,模型生成的话和搜索引擎/沙箱吐回来的网页、终端报错都混在同一条长序列里。如果不加区分地整条算梯度,模型就会拼命学习“怎么模仿网页原文和 Python Traceback 报错”,甚至学会自己编造一段假搜索结果来偷懒!因此,多轮 Agentic RL 的第一铁律就是 Observation Token Loss Masking(环境观测损失掩码):凡是外部环境喂回来的词元,掩码全部置 0,梯度严禁穿透!
类比 · 类比二:不要让法拉利等快递员(异步沙箱与长尾调度)
在一批同时跑的 64 道多轮任务里,有 60 道题 2 秒钟就查完资料收工了,可偏偏有 4 道题在代码沙箱里编译 C++ 或连查 6 次网页花了 45 秒。
如果采用传统单轮 RL 的“全员同步等待”模式,价值百万的 GPU 集群就会干坐 43 秒发呆等那 4 个慢任务。现代 Agentic RL 把 GPU 推理引擎、CPU 异步隔离沙箱池 和 训练器 彻底解耦(参见异步 RL 基础设施):谁跑完一轮工具就立刻回到推理队列复用 KV Cache 前缀 继续下一轮,谁整条任务收工就立刻滑进训练队列,让显卡一刻不停歇!
类比 · 类比三:长征十步,功劳归谁?(多轮稀疏奖励的信用分配)
假如模型连查了 4 轮资料:前 3 轮的检索关键词精准得像侦探,把最关键的证据全挖出来了,唯独第 4 轮做汇总时粗心算错一个小数点,最终拿了 0 分。如果一竿子打翻一船人,把前 3 轮的精彩搜索全盘惩罚,模型就会越学越糊涂。
前沿解法就像“下棋复盘分支”:在关键中间轮次分叉采样多条后续路线,看看哪一次工具调用真正把胜率从 20% 拉升到了 80%,或者在超长任务里请回轮次级 Critic 估值,让每一轮的赏罚分毫不差!
03 把关键公式读成人话
在数学上,多轮工具交互是一场部分可观测马尔可夫决策过程(POMDP),整条轨迹的概率可以干脆利落地拆成“归我管”和“归环境管”两半:
把公式读成直觉:- 每一轮 <search>2025诺贝尔物理学奖</search>),<information>...</information>)。
- 因为外部搜索引擎和代码沙箱的运行规律不随模型权重
改变,取对数求导后,右边那一半的梯度严格消失!
落实到多轮 Masked GRPO 损失函数上,只需引入一个 0/1 动作开关
把公式读成直觉:- 这里的
- 别小看这一个乘号:在 Search-R1 的消融实验中,仅仅打开与关闭
m_{i,t},就决定了训练是稳步学会多跳检索、还是彻底崩盘胡言乱语!
04 它在模型里怎么工作 & 与上下游的关系
看一眼 Search-R1 / ReTool 的单条轨迹长什么样,你就能瞬间秒懂多轮掩码在底层怎么运转:
- 第 0 段(用户题目,mask = 0):
"某芯片 2024 年流片工艺及主频是多少?"(不算梯度) - 第 1 段(模型动作,mask = 1):
<think>需要查官方规格书</think><search>芯片 2024 规格 主频</search>(触发停顿符,算梯度) - 第 2 段(环境观测,mask = 0):
<information>检索结果:仅提到采用 3nm 工艺,未提主频</information>(由搜索服务注入,严禁算梯度) - 第 3 段(模型补救动作,mask = 1):
<think>信息不全,换个更精确的关键词追查</think><search>芯片 评测 最高主频 GHz</search>(算梯度) - 第 4 段(环境观测,mask = 0):
<information>实测最高主频 3.8 GHz</information>(不算梯度) - 第 5 段(最终作答,mask = 1):
<think>两项信息齐备</think><answer>3nm 工艺,3.8 GHz</answer>(算梯度,送去规则判分!)
站在整个大模型演进版图上,Agentic RL 串联起最核心的上下游生态:
- 上游脱胎于 GRPO-RLVR 与 工具调用智能体:直接继承无 Critic 的组相对优势与确定性规则裁判,同时把 ReAct 式的手工 Prompt 升级为内化进权重的本能反射;
- 中游深度依赖系统工程:高并发多轮交互极其吃基建,离不开 异步 RL 基础设施 的解耦调度、安全隔离微虚拟机(防代码逃逸)以及推理引擎的 Prefix Caching 前缀复用;
- 下游直接驱动新一代自主 Agent:在编程领域,它让 Coding Agent 学会在真实大型代码库里自主搜索源码、跑单测、读报错栈并多轮迭代修补丁;在长周期任务中,它还与 上下文工程 融合,教会模型自己决定何时截断冗余日志、何时浓缩记忆。
05 演化对比与避坑备忘
| 对比维度 | 传统工作流 RAG / ReAct | 单轮 GRPO-RLVR | 多轮 Agentic RL(Search-R1 / ReTool) |
|---|---|---|---|
| 调用工具的时机 | 写死流程或靠 Prompt 碰运气 | 无工具(纯脑内推理) | 自主决策何时查、查几次、何时停 |
| 遇到报错/空结果 | 极易死循环或胡编答案 | 不涉及外部报错 | RL 涌现多轮改写查询与自动 Debug |
| 是否需要观测掩码 | 不适用 | 仅掩码 Prompt | 必须严格掩码全部环境返回词元 |
| 系统架构复杂度 | 低 | 中(同步 Rollout 可跑) | 高(异步沙箱池 + 前缀缓存) |
实战落地多轮 Agentic RL 时,三条血泪教训务必刻进检查清单:
- 必须由推理引擎强行截断工具闭合符:绝不要等模型一次性吐完再解析!要在采样参数里把
</search>、</code>设成硬停顿符(Stop String),模型一吐完就立刻暂停、把真实工具结果喂回去,彻底堵死模型“自问自答伪造工具输出”的作弊路子。 - 切忌给“调用工具次数”发高额过程奖:如果你图省事,给“每调一次搜索或代码就奖
+0.1”,模型三百步之内就会变成“为了刷分而疯狂调用无意义代码”的刷分狂魔!奖励应尽量锚定最终可验证的任务成败,只对格式合规给极小引导分。 - 严控单次环境输出的上下文长度:一个
ls -R或未清洗的网页可能瞬间吐出 20,000 个废词元,直接把显存撑爆或淹没模型注意力。务必在环境返回侧做好硬截断与结构化清洗,并在冷启动阶段先喂几百条合规多轮轨迹做轻量 SFT,避免纯随机探索前期全军覆没。
想查看多轮 POMDP 梯度严格推导、异步解耦系统数据流图以及可直接复用的 PyTorch 多轮 Trajectory Masking & Masked GRPO 源码?按快捷键
M或点击顶部技术 Wiki随时切换。
如果说单轮 GRPO 与 RLVR 教会了大语言模型在“纸笔封闭考场”内进行长思维链深度推导,那么 多轮工具交互与 Agentic RL(智能体强化学习) 则是把考场大门推开,让模型在真实动态环境(搜索引擎、Python/Bash 代码沙箱、数据库、浏览器与操作系统)中,通过多轮“思考—调用工具—读取环境反馈—修正计划”的端到端试错自主习得复杂问题求解策略。从 Search-R1(Jin et al., 2025 ↗)、ToRL(Li et al., 2025 ↗)、ReTool(Feng et al., 2025 ↗)到 RAGEN(Wang et al., 2025 ↗)与 SWE-RL(Wei et al., 2025 ↗),Agentic RL 正成为大语言模型突破静态参数知识边界、迈向自主智能体的决定性范式。
直观理解
单轮 RLVR 像是在封闭教室里做数学竞赛:模型一口气写完草稿交卷,只听最后一声对错。而 Agentic RL 则像是把实习工程师放进真实开发机:他先思考(<think>)、敲命令查资料或跑脚本(<search> / <code>),然后停下来读取终端吐回的报错或网页摘要(<information> / <output>),再根据新线索调整方案。训练时最核心的纪律是 “只赏罚自己的操作,绝不把系统终端的报错当成自己的输出去算梯度”——这正是 Observation Token Loss Masking 的物理意义。
起源背景与演进脉络
传统基于提示工程的 ReAct 智能体 与静态工作流 RAG 存在三大固有缺陷:
- 搜索与调用时机僵化:传统 RAG 往往“强制先检索一次再回答”,既无法在遇到未知专有名词时主动二次追问,也无法在已有足够把握时跳过冗余检索。
- 模仿学习(SFT)缺乏纠错韧性:仅在人类或强模型轨迹上做 SFT,一旦线上遇到工具报错、检索结果为空或代码编译失败等分布外(OOD)观测,模型往往陷入无限复读或直接放弃。
- 单轮推理无法外包精确计算:纯语言思维链在面对大整数算术、复杂符号化简、海量日志过滤或真实代码库验证时极易出错,而调用一次代码解释器即可瞬间获得确定性真值。
2025 年以来,研究者将 GRPO 与 RLVR 无缝拓展至多轮环境交互:
- 搜索智能体 RL:Search-R1(2025 ↗)首次系统证明,仅靠最终答案 Exact Match 规则奖励与 Retrieved Token Loss Masking,即可让 LLM 自发学会在推理中途生成
<search>查询词、消化<information>返回片段并进行多跳迭代检索。 - 代码工具协同 RL:ReTool(2025 ↗)与 ToRL(2025 ↗)将 Python 解释器嵌入生成闭环,模型不仅学会了何时写代码验算,还自发涌现出“遇报错自动 debug 并重写代码”的多轮自愈行为。
- 通用多轮状态环境与软件工程 RL:RAGEN(2025 ↗)剖析了多轮 RL 中的“回声陷阱(Echo Trap)”与轨迹级优势估计;SWE-RL(2025 ↗)则将真实 GitHub 仓库的单元测试结果作为可验证奖励,直接推动开源 Coding Agent 跃升。
核心原理与数学推导
1. 多轮交互的 POMDP 轨迹建模
在多轮工具交互场景下,世界状态(如完整互联网索引、远程文件系统或隐藏测试集)对模型不可直接观测,因此任务被严格建模为部分可观测马尔可夫决策过程(POMDP)
- 历史上下文状态
:第 轮开始前,策略可见的全部历史词元序列 ; - 模型动作序列
:第 轮策略 自回归生成的一段连续词元,包含内部思考与工具调用指令(如 <think>...</think><search>query</search>),直至遇到预设停止符(Stop Token); - 环境观测序列
:外部执行器 (搜索引擎 / 沙箱 / API)解析工具指令后返回的非策略生成词元(如 <information>...</information>),通过环境变量转移拼接回上下文; - 整条交互轨迹
:交替展开直至模型输出终止标签(如 <answer>...</answer><eos>)或达到最大交互轮数:
2. Observation Token Loss Masking(环境观测损失掩码)
对轨迹对数似然求关于参数
将其展平为词元级序列
为什么绝对不能省略 Observation Loss Masking?
- 梯度污染与策略崩溃:若对环境返回词元计算策略梯度,模型会被强迫“学会复述/模仿搜索网页正文或 Python Traceback 报错”,甚至在正优势轨迹里学会伪造
<information>幻觉输出而不去真正调用工具! - KL 散度爆炸:参考模型
与当前策略 对外部长网页片段的概率分布差异巨大,不掩码会导致 KL 正则项被观测噪声主导,彻底淹没有效动作梯度。
3. 稀疏结果奖励与多轮过程信用分配
在多轮轨迹中,最终结果奖励
当前前沿工程主要采用三种信用分配增强机制:
- 多维复合可验证奖励:在最终答案正确性
基础上,叠加极轻量格式奖励 (工具 JSON/标签合法性)与工具效率惩罚(抑制无意义重复查询),同时严防把高权重赋给可被刷分的中间工具调用次数。 - 层级步级优势(Step-Level / Tree-Structured Advantage):如 GiGPO 与树搜索多轮 Rollout,在共享前缀的中间状态
处分叉采样多条分支,用分支均分估计当前状态价值 ,从而精确区分“哪一轮工具调用真正抬高了胜率”。 - 带状态掩码的 Turn-Level GAE(PPO 路线):在长周期高方差环境(如 20+ 轮软件工程修补)中,保留 Critic 网络并在轮次边界计算广义优势估计(GAE),以小步估值方差换取更精准的过程信用归因。
多轮异步系统架构与数据流图
多轮 Agentic RL 最大的系统挑战在于极端长尾延迟:同一批次中,有的轨迹 1 轮结束,有的轨迹调用 8 次远程搜索或运行耗时 30 秒的单元测试。若采用同步批处理,昂贵的 GPU 集群将在漫长等待沙箱 IO 中严重空转(详见异步 RL 基础设施)。现代 Agentic RL 普遍采用 解耦异步 Rollout + 沙箱 worker 池 架构:
图表加载中...
单轮 RLVR 与多轮 Agentic RL 横向对比
| 维度 | 单轮 GRPO-RLVR | Search-R1(搜索智能体) | ReTool / ToRL(代码工具) | SWE-RL / 多轮自主 Agent |
|---|---|---|---|---|
| 动作空间 | 纯自然语言思维链 | 思考 + 检索查询词 | 思考 + 可执行 Python 代码 | 思考 + Bash / 编辑器 / 浏览器 |
| 环境转移 | 无外部状态转移 | 只读检索语料库 | 有状态/无状态解释器沙箱 | 强有状态文件系统与进程环境 |
| 损失掩码 | 仅掩码 Prompt 词元 | Prompt + 检索片段掩码 | Prompt + 执行输出掩码 | Prompt + 全部终端观测掩码 |
| 典型轮数 | ||||
| 主要瓶颈 | 长序列显存与解码耗时 | 检索延迟与相关性噪声 | 沙箱安全隔离与并发吞吐 | 长尾轨迹空转、上下文溢出与信用分配 |
核心 PyTorch 参考实现:多轮轨迹掩码与 Masked GRPO
下面给出多轮 Agentic RL 中最核心的两个模块:逐段拼接构建 Action Loss Mask 与 Token-Level Masked GRPO 策略损失:
python
import torch
import torch.nn.functional as F
from typing import List, Tuple
def build_multiturn_trajectory_and_mask(
segments: List[Tuple[List[int], bool]],
) -> Tuple[torch.Tensor, torch.Tensor]:
"""
将多轮交互片段拼接为单条训练序列,并生成严格的 Action Loss Mask。
segments: 列表元素为 (token_ids, is_model_action)
- Prompt / 环境观测 (<information>, <output>): is_model_action = False -> mask = 0
- 模型思考与工具调用 (<think>, <search>, <code>, <answer>): is_model_action = True -> mask = 1
"""
input_ids: List[int] = []
action_mask: List[int] = []
for tok_ids, is_action in segments:
input_ids.extend(tok_ids)
action_mask.extend([1 if is_action else 0] * len(tok_ids))
return (
torch.tensor(input_ids, dtype=torch.long),
torch.tensor(action_mask, dtype=torch.float32),
)
def masked_agentic_grpo_loss(
logp_new: torch.Tensor, # [G, T-1] 当前策略对下一词元的对数概率
logp_old: torch.Tensor, # [G, T-1] 采样旧策略对数概率
logp_ref: torch.Tensor, # [G, T-1] 参考策略对数概率
action_mask: torch.Tensor, # [G, T-1] 对齐后的动作掩码(环境观测与 padding 均为 0)
rewards: torch.Tensor, # [G] 同组 G 条多轮轨迹的最终规则奖励
clip_low: float = 0.2,
clip_high: float = 0.28,
kl_coef: float = 0.001,
remove_std_bias: bool = True,
) -> torch.Tensor:
"""支持 Observation Masking、Clip-Higher 与 Token-Level 归一化的多轮 GRPO 损失。"""
# 1. 组内相对优势(Dr.GRPO 风格可关闭 std 除法以消除难度偏置)
mean_r = rewards.mean()
if remove_std_bias:
adv = rewards - mean_r
else:
adv = (rewards - mean_r) / (rewards.std().clamp_min(1e-6))
adv = adv.unsqueeze(-1) # [G, 1] 广播到该轨迹所有词元
# 2. 重要性采样比与非对称 Clip-Higher
ratio = torch.exp(logp_new - logp_old.detach())
clipped_ratio = torch.clamp(ratio, 1.0 - clip_low, 1.0 + clip_high)
pg_obj = torch.minimum(ratio * adv, clipped_ratio * adv)
# 3. Schulman k3 非负 KL 估计器(同样严格受 action_mask 约束)
log_ref_minus_new = logp_ref.detach() - logp_new
kl_k3 = torch.exp(log_ref_minus_new) - log_ref_minus_new - 1.0
# 4. 仅在模型自身生成的动作词元上做全局 Token-Level 平均,彻底隔离观测噪声
per_token_loss = -(pg_obj - kl_coef * kl_k3)
valid_tokens = action_mask.sum().clamp_min(1.0)
return (per_token_loss * action_mask).sum() / valid_tokens工程实践与常见陷阱
陷阱一:工具调用“奖励黑客”与幻觉伪造观测
如果模型在训练早期发现自己直接输出 <information>答案是 42</information> 也能蒙混过关,或者沙箱对异常退出返回模糊信息,模型可能学会规避真实调用或滥用沙箱资源(例如死循环占满 CPU、在文件系统里搜索隐藏测试集)。 最佳实践:
- 在推理引擎侧强制设置
stop_strings=["</search>", "</code>"],一旦生成闭合标签立刻截断采样、交由外部执行器注入不可伪造的观测标签; - 沙箱必须启用强隔离(如 Firecracker microVM / 无网络隔离容器)、严格单次执行超时(如 3–10 秒)与只读挂载,杜绝数据泄露与宿主机逃逸。
陷阱二:多轮上下文膨胀、KV 前缀失效与长尾空转
在 10 轮以上的自主任务中,单次网页抓取或命令输出就可能吐出上万词元,迅速撑爆显存或稀释注意力;若每轮都把完整历史重新做 Prefill,计算量将呈轮数平方级爆炸。 最佳实践:
- 推理侧务必开启 Prefix Caching(前缀 PagedAttention KV Cache 复用),保证第
轮只需增量计算最新追加的观测词元 ; - 对单次工具返回做硬长度截断或结构化摘要(参见上下文工程),防止单条冗余输出摧毁整条轨迹;
- 采用部分完成异步流式调度(Partial Rollout / Async Actor-Learner):不再死等全批次最慢的那条沙箱轨迹,而是用滑动队列持续向训练器喂入已完成的多轮轨迹,可将集群 GPU 利用率提升
。
冷启动秘诀:轻量多轮 SFT + 多轮 RLVR
纯基座模型直接跑多轮 Agentic RL,前期往往因为不熟悉工具标签格式或不知何时收手,导致成千上万次采样全军覆没(零梯度死区)。实践中先用几百至几千条高质量多轮工具交互轨迹做极轻量冷启动 SFT(只教通“如何合法调用工具与处理报错”),再切入全量多轮 GRPO,收敛速度与最终上限均显著优于从零探索。
参考文献
- Jin, B., Zeng, H., Yue, Z., et al. (2025). Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning. arXiv:2503.09516 ↗
- Feng, J., Huang, S., Qu, X., et al. (2025). ReTool: Reinforcement Learning for Strategic Tool Use in LLMs. arXiv:2504.11536 ↗
- Li, X., Zou, H., & Liu, P. (2025). ToRL: Scaling Tool-Integrated RL. arXiv:2503.23383 ↗
- Wang, Z., Wang, K., Wang, Q., et al. (2025). RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn RL. arXiv:2504.20073 ↗
- Wei, Y., Duchenne, O., Copet, J., et al. (2025). SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution. arXiv:2502.18449 ↗
- Yao, S., Zhao, J., Yu, D., et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023. arXiv:2210.03629 ↗
- DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948 ↗