Agentic RL 基建路线:从一条轨迹看懂系统取舍
读完技术综述之后,怎么判断自己的系统该先改调度、补日志,还是换优化算法?把架构、时间、分布与奖励四个问题逐层拆开。
理解一套 Agentic RL 系统,可以先追问四件事:轨迹由哪个策略生成,为什么此刻进入训练,奖励究竟验证了什么,以及中断后能否正确恢复。很多看似独立的性能与收敛问题,会在这四个问题上汇合。
这篇综述把多家团队的公开材料按问题组织起来,讨论共卡与分离、异步与长尾、陈旧轨迹、训推差异、策略优化、奖励、沙箱和上下文。值得带走的是这些决策之间的依赖关系;具体团队配置与数值请回原文查阅,并继续核对它链接的一手报告。
下文以独立的工程推演和教学例子展开,数值均明确标作假设,不复刻原文的团队表格,也不把不同团队的实验结果放在同一标尺上排名。文中对 GSPO 与训推差异的简要说明另附一手来源。
01先看一条轨迹,而不是先选框架
设想一个修复代码的任务:模型查看文件,执行测试,修改补丁,再由验证器判定。这个过程会交替等待 GPU 推理与 CPU 工具执行,最后还可能排队等评分。训练器拿到的并非一串裸 token,而是一份带有来源与执行语义的记录。
生成 token 与行为 logprob
终止原因、验证证据
有效 mask、训练版本
这张图是本页的概念示意。训练完成会产生新策略,再影响后续采样;每条边都可能改变样本的含义。例如工具超时被写成任务失败,问题出在标签;旧轨迹被当成新策略数据,问题出在分布;中途恢复时文件系统回退了,问题出在状态一致性。
| 建议记录的字段 | 它帮助回答什么 |
|---|---|
| task_id、attempt_id、数据来源 | 同题多采样有没有重复计数?某类任务是否被调度器偏爱? |
| 策略版本、token/片段来源、行为 logprob | 样本落后多少次更新?同一轨迹是否跨版本?概率分母对应哪一次实际生成? |
| 提交、完成、评分、消费时间 | 延迟发生在环境、评分还是队列?只有总时长无法定位瓶颈。 |
| 环境与验证器版本、终止原因 | 奖励变化来自模型进步,还是测试和环境变了? |
| loss mask 与过滤原因 | 名义 batch 中,究竟有多少样本和 token 真正参与了更新? |
以上字段是本页提出的诊断清单,不是对任何现有框架接口的描述。日志里的概率还应注明是否包含 temperature、top-p 等采样变换,避免只存一个含义不清的 logprob 字段。
02共卡/分离和同步/异步回答不同的问题
放在哪里决定显存、并行方式、资源切分和权重传输;什么时候消费数据决定等待、版本差和样本进入训练的顺序。两者关联很强,但不能直接画等号。
| 组合 | 概念上的运行方式 | 先检查的代价 |
|---|---|---|
| 共卡 + 同步 | 同一组 GPU 先生成一批,再切到训练。 | 批内长尾、切换与卸载时间、KV cache 是否需要重建。 |
| 共卡 + 跨轮续跑 | 生成到轮次边界暂停,训练后续写未完成任务。 | 跨版本片段、状态恢复成本、长任务多轮滞留。 |
| 分离 + 同步边界 | 推理与训练用不同设备,但以批次或版本屏障协调。 | 双池互等,专用设备是否闲置。 |
| 分离 + 流式异步 | 推理持续产出,训练按队列规则消费,权重独立同步。 | 队列增长、版本滞后、完成顺序偏差与同步开销。 |
这是概念分类,实际系统还可能动态借卡、局部共卡。读到“fully async”时,应继续问:它指任务不等齐、轨迹跨轮续跑,还是训练与生成确实同时执行?只有明确重叠发生在哪里,吞吐数字才有解释力。
假设生成端每分钟产出 12 条可训练轨迹,训练端每分钟消耗 10 条,而系统没有丢弃或背压,队列就每分钟净增 2 条。扩生成池会继续积压。若加速后大量轨迹又被过滤,生成 token/s 的提升可能根本没有变成有效训练吞吐。
03交互:吞吐提高时,任务分布也可能变了
下面有 8 个同时提交的任务,每批训练需要 3 条轨迹。为便于看清偏差,特意把较快任务设为 A 类、较慢任务设为 B 类。真实工作负载未必如此相关。演示只比较第一批的候选规则,不模拟梯度、跨批调度或权重更新。
绿色:此刻可进入第一批的候选;灰色:未完成或被队列规则挡住。候选超过 3 条时,按完成时间取前三条;严格 FIFO 按提交顺序。条形长度表示假设的执行时长。
严格 FIFO 需要等队头;完成优先可以更早凑够一批,但在本例中先看到更多 A 类。窗口把候选限制在提交序列的前一段,给吞吐和顺序约束留出一个调节空间。这是窗口化思路的教学模型,不代表原文提及框架的精确实现。
由此可以设计一组自己的检查:分别比较提交分布、完成分布、训练分布。如果困难任务耗时更长,且更容易因陈旧而被丢弃,那么偏差可能在“完成优先”和“过期过滤”两处叠加。只统计训练成功率,难以区分能力提升与任务组成变化。
04分清版本落后与同权重下的概率差异
陈旧度看样本生成后策略变了多少;训推差异看推理后端与训练后端对同一个 token 的概率是否一致。即使没有异步和权重更新,后端差异也可能存在。一手研究专门展示了相同参数在两端产生不同概率的现象,并研究了 TIS 修正。[训推差异论文]
这是固定历史、同一动作上且分母非零时的代数分解。它不意味着逐 token 修正自动消除了整条轨迹的历史分布差异。截断、掩码或序列聚合还会改变估计性质。[slime 对三种策略与近似边界的说明]
用两个对照定位问题
- 冻结权重测两端。固定 token IDs、历史、mask 和概率定义,比较训练侧与推理侧 logprob。版本差为零时仍有明显差异,应先查输入、数值精度、路由和采样配置。
- 固定后端看版本跨度。按样本来源与生成版本分桶,观察版本差、概率比值分位数与有效 token 比例。若老样本总被滤掉,先看排队和同步节奏,再决定是否放宽阈值。
假设样本生成于 v10,消费于 v14,按“训练更新次数”记账时 lag=4。若另一个系统把 4 次微更新合成一次版本发布,它可能把同一过程记成 lag=1。因此跨框架照抄 staleness 数字前,应先对齐版本定义、更新幅度和样本消费方式。
05算法名字背后,实际在选哪四件事
面对 GRPO、GSPO、CISPO 或带 critic 的方案,可以先把实现拆成四个问题。这样检查配置,比只记缩写更容易发现不兼容的组合。
| 选择 | 需要明确的实现语义 |
|---|---|
| 优势来自哪里 | 同题组内比较,还是价值模型?组内奖励都相同时如何处理?失败或缺失样本是否改变组统计? |
| 比值在什么粒度上算 | 逐 token、整段序列还是分层?分母是实际行为概率,还是训练侧重算的旧策略概率? |
| 怎样限制异常比值 | 裁剪目标、截断权重或直接丢弃?权重是否 stop-gradient?这些做法的梯度不同。 |
| 最后怎样聚合 loss | 每条轨迹等权、每个 token 等权,还是每个任务等权?变长序列下它们代表不同训练权重。 |
GSPO 的一个具体例子是用长度归一化的序列似然比进行序列级裁剪与优化;论文也讨论了 MoE 稳定性和基建简化。它提供的是一套有实验支持的设计,不能仅据此推断任何系统都无需处理路由或概率一致性。[GSPO 原论文]
此处只展示比值定义,未写完整目标。长度归一化后的几何均值不等于未归一化的整条序列重要性权重;不能把两者的无偏性论证直接互换。
一个容易忽略的权重变化
教学例子:两条轨迹分别含 100 和 1,000 个有效 token。逐轨迹求均值再平均时,两条各占一半;把全部 token 合并求均值时,长轨迹占 10/11。即使优势估计和裁剪完全相同,归一化方式也能改变优化重点。比较算法时,至少应把这项固定下来。
价值模型则增加了另一种可检验的假设:它能否预测后续回报,并在相同预算下改善学习?模型成本、价值拟合误差和冷启动都要进入账本。把 critic 作为实验变量,比把“有或没有 critic”当作路线立场更有用。
06奖励是一个判定过程,不只是一个浮点数
下面是本页设计的排障例子:两个补丁都没有拿到正奖励。第一个修改错误,稳定复现测试失败;第二个还没执行测试,镜像仓库就暂时不可用。如果把两者都直接编码为 0,训练器看不到失败来源。
| 事件 | 建议保留的证据 | 如何作出训练决定 |
|---|---|---|
| 真实任务失败 | 测试输出、执行环境、退出状态 | 验证器正常时,按任务定义形成奖励。 |
| 基础设施失败 | 镜像拉取、节点、网络或服务错误 | 分流诊断、有限重试或屏蔽;记录规则,避免悄悄改变任务分布。 |
| 策略导致资源耗尽 | 命令、内存与时长、预算限制 | 按任务契约区分有效探索和违规;不能因“环境崩了”就自动免责。 |
| 测试通过但结果可疑 | 补丁、验证器版本、独立复核 | 检查测试是否被修改、是否有泄漏或产物伪造,再确认奖励含义。 |
这意味着曲线至少应拆开看:任务成功率、基础设施失败率、评分失败率、异常奖励比例。遇到奖励突然上升,可以先用冻结验证器和独立任务复核,再把它解释成能力提升。
给最终补丁评可维护性,仍可能只得到一个轨迹级分数;用价值估计或其他方法判断哪一步更值得鼓励,才涉及沿时间分配信用。增加评分维度不会自动告诉模型,前面几十轮无效操作该少受多少奖励。
也不要把所有慢任务都归为坏数据。如果任务本来要求编译大型项目,粗暴超时过滤会使训练集向轻任务倾斜。调度、奖励与数据分布必须放在同一张表里复核。
07Partial rollout 要恢复的是整个执行语义
假设 Agent 已修改一个文件,随后等待测试,此时采样暂停。恢复时若只取回对话记录,却丢了文件改动,下一轮推理面对的“已完成修改”和真实环境就会矛盾。另一种情况是测试已执行成功,重试又把有副作用的工具调用执行一次。
| 状态 | 恢复时要问的问题 |
|---|---|
| 对话与 token | 历史是否相同?是否做过摘要、截断或模板转换?生成片段的版本可否追踪? |
| 环境与会话 | 文件系统、后台进程、工作目录和工具会话是否对应同一执行点? |
| 在途请求 | 工具调用是否已完成?恢复会不会重复执行?结果是否可去重? |
| 推理缓存 | KV 与当前权重是否兼容?系统选择丢弃重算、重放还是其他近似?成本是多少? |
| 预算与终止状态 | 已用步数和剩余预算是否延续?恢复是否意外重置了限制? |
具体实现可能主动接受某些近似,但需要说清楚。一条跨多个权重版本续写的轨迹,也不能再笼统标成“完全来自消费时的当前策略”。
上下文压缩同样会改变后续输入。如果训练与评测使用不同的摘要机制或保留规则,差异就不只在模型参数上。已有站内解读可接着读:CompactionRL、AutoCompact。这两篇是相关问题的延伸,不是本综述全部观点的证据。
08把路线图变成可执行的排障顺序
以下是本页建议的实验顺序,适合作为讨论起点;是否适用于具体项目,要看实际测量。
- 建立能复核的小闭环。固定任务、环境与评分版本,确认 token、reward、mask、组统计和训练批次能够对上。
- 测端到端时间分解。把推理、工具、评分、排队、更新与权重同步分别计时,先定位最大的等待来源。
- 冻结权重检查概率。先排除输入和后端不一致,避免用更复杂的异步把已有问题放大。
- 每次只放开一个调度自由度。例如从等齐改为提前开训,观察分布和陈旧度如何变化,保留对照。
- 再比较过滤或损失方案。同时报告有效样本比例、各任务来源占比和固定评测,避免只挑好看的训练奖励。
- 用完整成本做决定。把生成、评分、重试、同步和被丢弃的数据都计入成本,检查相同预算下的有效提升。
| 观察到的现象 | 下一项能缩小范围的检查 |
|---|---|
| GPU 看起来很忙,评测却不涨 | 有效 token 比例、任务组成、奖励是否可信,以及训练更新是否实际发生。 |
| 队列持续增长 | 生产/消费速率、评分瓶颈、消费端过滤率、背压是否生效。 |
| 长任务几乎不进训练 | 完成顺序、过期阈值、超时策略与来源配额。 |
| 切换权重后异常明显 | 同步原子性、在途请求版本、缓存语义及概率比值分布。 |
| 训练奖励涨,独立评测下降 | 验证器或任务分布变化、奖励捷径、预算和 harness 是否一致。 |
核心是让每次改动回答一个具体问题。例如“提前开训是否减少等待,而且没有把 B 类任务挤出训练”,比“异步版本是否更先进”更容易测量,也更容易复现。
09阅读边界与延伸链接
原文适合当作问题索引。需要复现某个团队的做法时,应回到具体报告、代码版本与实验设定;同一个团队的不同模型也未必采用同一系统。公开材料没有说明的细节,不能仅凭框架名补齐。
- Ziyang:Agentic RL Infra 主流技术路线综述——解读入口与完整参考文献。
- Group Sequence Policy Optimization——本文关于 GSPO 的一手来源。
- On the Rollout-Training Mismatch in Modern RL Systems——同权重下的后端概率差异与 TIS。
- slime:From policy gradients to train–rollout consistency——行为分布、冻结策略与当前策略的区别及近似边界。
- 站内延伸:全异步 RL 四种模式 · Harbor × VeRL 架构 · SAO。