Paper Notes · Agentic RL & Distillation

IQuest-Q1:把多种 CLI 经验练进一个模型

同一份代码,换一个 agent 框架,为什么就不会改了?从可验证的任务、版本固定的 GRPO,到“四个专家教一个学生”的异步 MOPD,读懂这份技术报告的训练思路。

IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems
IQuest Research · arXiv v1 · 2026-10-22
中文解读更新于 2026-10-27 · 重点:后训练与 Agentic RL 工程
论文信息 · 原文 PDF · 原文 HTML

把一个会写代码的模型变成可靠的 CLI agent,要让它在不同工具接口、任务环境和长轨迹中都能把事情做完。IQuest-Q1 给出的方案,是先训练有不同长处的专家,再让同一个学生在自己的执行轨迹上向这些专家学习。

320B / 15B总参数 / 每 token 激活参数
29T预训练与 mid-training 总 token
512Kmid-training 最终训练上下文
4 位专家MOPD 按任务领域选择教师

模型规模与训练量见原文 §2–3、表 1;教师设置见 §4.5。512K 描述训练上下文阶段,不代表所有 agent 任务的有效工作长度。

01先看整条训练路线

先设想一个小例子:模型已经知道该运行测试,但旧框架把工具叫 run_command,新框架要求 shell,参数结构也变了。它可能还没碰到代码问题,就先卡在工具调用上。这个例子说明,代码知识、操作流程和接口适配,都是最终任务能力的一部分。

01 · 基础能力Pre-training

语言、代码与科学知识;提高代码数据比例。

02 · 接近真实任务Mid-training

文档、问答和 agent 轨迹;逐步扩展上下文。

03 · 学会操作两阶段 SFT

学习 assistant 响应与工具调用,为后续训练打底。

04 · 专项练习与汇总领域 RL → MOPD

训练专长不同的专家,再反馈给同一个学生。

贯穿后训练Residual merging

组合不同阶段与分支的参数增量。

这是依据原文图 2、图 6 重画的阅读路线。模型合并与训练交错进行,不能把它理解为只有最后一次合并。

几个量级要分开看:29T 是预训练与 mid-training 的总量;SFT 的两个阶段分别使用 240B+、50B+ token。长上下文训练依次经过 32K → 128K → 512K。这些都是不同阶段的描述,报告没有把它们汇成一份可直接照抄的完整 RL 算力预算。

Mid-training 里值得注意的是 token 级监督:一段轨迹中的哪些位置计算 loss,可以独立于消息角色来指定。SFT 则明确监督 assistant 内容和工具调用,用户指令及工具返回只提供上下文。对工程实现而言,“模型看到了这段文字”和“模型应该学习生成这段文字”要分别记录。

基础模型为什么能支撑这条路线?

模型用稀疏 MoE 与局部 / 全局混合注意力来控制计算开销。中间层按 3 个滑动窗口注意力层接 1 个全局注意力层重复;滑动窗口为 4,096,首尾另有全局层。每个 MoE 层有 256 个路由专家,每 token 激活 8 个。这些“层内专家”与后文四个完整的教师模型是不同概念。

Stable SplitNorm、Muon 和 μP 是其稳定扩展方案的组成部分。报告在相同数据的对照中给出 1.93× 的训练算力效率:达到相同训练 loss 约用基线 52% 的 FLOPs。这个数字不等于推理吞吐翻倍,也不能单独归因于某一项结构。

报告还把最优学习率与最大稳定学习率之间的距离作为扩展余量。文中约 12T 总参数的临界规模来自拟合外推,不是已经训练并验证的 12T 模型。

依据:§2、图 2–4、§3、表 1、§4.3。工具名例子及工程解释为本站补充。

02一个可训练任务,究竟包含什么

“请修复这个 bug”只是一句指令。要把它变成 RL 数据,还需要能启动的环境、允许使用的工具、判断修复是否成立的验证器,以及清楚的版本信息。否则,失败可能来自题目坏了,成功也可能来自测试根本没有检查到目标行为。

用一项修复任务来理解

题目:空输入时程序报错。环境:固定仓库版本与依赖。验证器:空输入得到约定结果,原有非空输入行为保持正确。参考修复应该通过;不改任何代码应该失败。如果两种方案都通过,先修题目和验证器,再谈训练模型。

报告的 coding 任务构造强调这种闭环:先得到可执行实例,再检查指令、环境、参考方案与验证器是否一致;重复运行 agent 来估计难度,保留有效但模型仍不会做的任务。它还允许在已验证的环境上改写任务、注入故障、提高约束,再重新验证。

参考解能过、no-op 不能过,是必要的质量检查,但还不够。例如,只判断退出码的测试,可能被一个永远返回成功的脚本骗过。这也是为什么报告另外检查执行轨迹和最终产物,而不只相信一个终局分数。

检查发生在哪里要解决的问题对训练的意义
环境准备清理可能泄露答案的历史或文件,隔离隐藏验证材料。成功应该来自完成任务。
执行期间按任务限制越界访问;被阻止的操作返回明确反馈。让 agent 在合法条件下继续尝试。
轨迹审核结合规则与 rubric 检查命令、工具结果和提交内容。确认作弊的轨迹不进入训练。

这里的限制服务于训练任务的有效性,不是一套要求用户在日常开发中照搬的权限规则。不同任务需要的隔离方式也不同:修仓库、终端操作、从文档重建程序,不能只套同一张黑名单。

依据:§4.1–4.2。空输入修复与退出码例子为本站构造。

03多框架 GRPO:哪些样本可以一起比

Harness / scaffold 可以理解成模型周围的工作台:它决定工具接口、上下文管理、执行流程和环境反馈。报告让共享策略在不同工作台及其版本上收集轨迹,同时把这些条件写进每个 episode。

但“同时训练多个框架”并不意味着把它们随意混成一个 GRPO 比较组。文中明确说,同一组比较的是同一任务、固定 harness 与 evaluator 版本下的重复 rollout。否则,一条轨迹得分低,可能只是因为换了工具、预算或评分规则。

组 A · 同一把尺

任务 X + 框架 A / v1 + 验证器 v3
轨迹 A1、A2、A3……在组内比较

组 B · 另一把尺

任务 X + 框架 B / v2 + 验证器 v3
轨迹 B1、B2、B3……在组内比较

两个组的训练信号 → 更新共享策略
分组示意,不代表论文公开了这些具体版本或组大小。

失败要先归因,才能决定怎么训练

报告把最终正确性交给独立验证器。长轨迹的辅助奖励只承认可测量的进展,同时考虑无谓计算、约束违反等成本。模型生成的诊断若要参与评分,需要执行记录作为证据。

一种失败怎样理解报告给出的处理原则
模型改坏了代码策略行为导致失败可以形成学习信号
环境故障,与策略无关例如可确认的基础设施异常屏蔽相应无效信号
验证器本身出错当前分数不可信阻止样本被消费

判断依赖证据:同样是命令失败,可能是模型拼错参数,也可能是 adapter 把合法参数转换错了。把所有失败都压成 reward=0,会让训练目标混入运行系统的故障。

报告公开到什么程度?

论文说明了 GRPO、多框架分组、奖励原则和失败归因,但没有完整给出 RL loss、采样组大小、各奖励系数,以及 TIS / MIS / DIS 的类型与阈值。不能据此声称它用了你当前 SAO 配置里的双侧 IS。

依据:§4.4。分组图和故障例子为本站解释。

04MOPD:学生做题,专家反馈

可以把四个专家想成四位擅长不同课程的老师:交互体验、多框架适配、长程任务、通用 agent。学生从 SFT Stage 2 的模型开始,自己走一遍任务,再由任务领域对应的冻结教师评价学生已经生成的 token。

① 学生执行在真实工具反馈中形成自己的上下文与动作。
② 按领域选老师对这一条轨迹使用相应教师,不要求四位老师逐 token 投票。
③ 教师给出概率在相同上下文里,判断学生这个 token 是否更值得生成。

为什么让学生自己做?假设老师总能顺利定位问题,老师的轨迹就很少包含学生经常走进的错误分支。学生先执行,老师才能对学生实际遇到的状态给反馈。这是 on-policy distillation 的直观动机。

反馈不是“这个 token 打几分”,而是一个概率比

固定一个上下文 h 和学生生成的 token y。记 pₖ(y|h) 为采样学生策略的概率,q_d(y|h) 为领域教师的概率。论文定义:

ã = clip(log q_d(y|h) − log pₖ(y|h), −c, c)

“认可”只是帮助理解概率的说法:教师可能判断错,正的蒸馏信号不等于任务一定成功。概率差越大也不能无限放大更新,所以要把 log 比值限制在 [−c, c]。

展开看完整损失:哪些 token 参与、哪些量停止梯度?
Lₖ(θ) = −(1/B) Σᵢ (mᵢ/Tᵢ) Σₜ∈𝒜ᵢ ãᵢ,ₜ log pθ(yᵢ,ₜ | hᵢ,ₜ) 𝒜ᵢ:模型生成位置,包含工具调用 token Tᵢ:这些位置的数量 mᵢ:重复轨迹取 0,否则取 1

指令和工具观测只作为上下文,不加入上述位置集合。轨迹、上下文、优势和 mask 在求导时固定;梯度经过当前学生的 log pθ。每条轨迹先按生成长度归一化,避免仅仅因为更长就得到更大的总权重。

这个形式受 reverse-KL 蒸馏启发。加入 clipping、固定采样批次和异步执行后,应按论文称为 surrogate,而不要把每次更新都当成精确、同步的 KL 梯度。

它与 IS、Score Centering 的区别

这里的 q 是教师;前一篇 SC 笔记里的 q 是实际采样分布,两者含义不同。MOPD 用“教师 / 学生”的 log 比值构造学习信号;IS 用概率比修正采样与目标分布的差异;SC 校正更新方向的平均偏移。出现概率比,不代表做的就是同一种校正。

依据:图 6、§4.5、式 (4)–(5)。课堂类比与三种方法的对比为本站解释。

05交互:一个 token 怎样得到蒸馏信号

下面只观察同一个上下文中的同一个已采样 token。拖动两端概率,看看老师比学生更认可或更不认可它时,训练信号怎样变化。演示默认 c=1,是教学取值,不是论文披露的超参数。

冻结这次反馈,再更新学生
教师 / 学生 概率比3.000
原始 log 比值+1.099
截断后的优势+1.000

教师概率更高,这个 token 得到正的蒸馏信号;超出阈值的部分被截断。

色条表示 m × ã 的符号和相对大小,不是概率变化量,也不是完整参数梯度;真实更新还要乘 score、按轨迹长度归一化,并受同批其他 token 影响。

试着勾选“重复轨迹”:老师的概率不会变,原始优势也不会变,但有效训练贡献会归零。数据能不能用,与教师给了什么信号,是两个独立步骤。

06TITO、异步与训推一致性

多轮 agent 会不断交替生成、调用工具、接收反馈。训练时要重建的,不只是看上去一样的一段聊天文字,还包括实际生成的 token、它当时看见的前缀、哪些位置是模型动作,以及对应的概率。

TITO:把实际走过的 token 路径留下来

报告在模型服务边界实现 Token-In, Token-Out,并用 session 级前缀树保存不同轮次、不同分支共享的 token 历史。新请求在记录的前缀上结合环境观测;最终从树中得到轨迹、奖励与 token mask。

共同前缀:用户任务 → 模型工具调用 ├─ 工具反馈 A → 模型继续执行 → 轨迹 A └─ 工具反馈 B → 模型重新尝试 → 轨迹 B 保留共同的 token 前缀;为分支保留各自的上下文与 mask。

这张树用于解释数据关系,不是论文实现的字段或存储布局。

不一致发生在哪层报告描述的措施能解决到哪里
轨迹与上下文TITO、前缀树、token mask帮助保留执行时的 token 路径和监督位置
概率计算路径教师与学生 logprob 使用同一训练引擎路径减少由不同计算实现额外引入的差异
异步参数版本周期同步学生权重、显式控制样本陈旧程度限制 rollout 相对训练策略的滞后

这三层措施不能互相替代。token 完全对齐,仍可能存在权重版本滞后;学生与教师使用同一引擎,也不会让两者分布变成一样。TITO 本身更不等于已经做了重要性采样。

四位教师怎样共用资源?

异步系统把教师权重放在分布式存储中,需要哪位教师就加载对应分片;计算当前教师时,预取下一位教师的权重。其目标是让教师数量增加时,不必同比增加常驻 GPU 副本。

这项设计把问题从“常驻显存够不够”转为“切换与预取能否跟上任务分布”。报告没有给出这部分的具体吞吐、切换耗时或最优调度参数。对自己的系统,要测教师前向等待、权重加载时间和学生数据陈旧程度,才能判断资源复用是否划算。

与本站 Score Centering、SAO 的连接:这篇报告重点描述轨迹、引擎和版本管理;SAO 的 DIS 与 SC 讨论的是概率不一致进入更新公式后怎样处理。不能从“使用 TITO”推导出“已经采用某种 IS 或 SC”。

依据:§4.7(第 12–13 页)。三层分类、前缀树示意及测量建议为本站分析。

07模型合并:还要在参数空间整合

MOPD 通过学生轨迹上的反馈把能力教给学生。报告还交错使用 residual model merging:选一个参考 checkpoint,看每个分支相对它改了多少参数,再组合这些增量,校准整体范数后加回参考模型。

分支增量:Δⱼ = θⱼ − θ_ref 组合方向:Δ_mix = Σⱼ wⱼ Δⱼ 合并模型:θ_merge = θ_ref + Calibrate(Δ_mix)

这是概念表达。报告说明使用指定权重和全局 ℓ₂ 范数校准,但没有公开足以复现所有合并的权重表、参考选择与校准细节;上式不是作者发布的完整算法。

可以把它想成几位专家分别修改了同一份程序。把修改汇总有机会保留各自长处,但不同修改也可能冲突。参数增量发生在同一个巨大向量空间里,所以全局范数对齐并不等于逐项解决了能力冲突,仍需要跨领域回归评测。

这也影响实验解释:最终模型同时经历多阶段训练、蒸馏和合并。报告没有给出足够的逐项消融,不能把最终 benchmark 提升全部归到 MOPD 或某一次 merge。

依据:§4.6与图 6。公式概括与冲突类比为本站解释。

08评测结果与证据边界

下面只选取表 2 中几项与 coding agent 和交互体验密切相关的结果。它们能帮助定位能力,也能看到短板;不同 benchmark 的分数不能跨行直接比较。

原文表 2 节选 · 分数越高越好
BenchmarkIQuest-Q1GLM-5.3
Flash
Claude
Opus 5
GPT-5.6
Sol
DeepSWE v1.164.663.473.773.0
SWE-Bench Pro57.559.4*79.264.6
NL2Repo-Bench63.056.375.356.8
SkillsBench74.156.2*76.2*71.5*
Terminal-Bench 2.183.284.389.188.8
Terminal-Bench 3.017.930.0*42.734.6
IQuest-CLIBench‡53.749.5*58.2*58.5*

* 为报告作者复测;未标星的对照分数按原文引用。‡ 为内部评测,不是独立公开榜单。各模型使用其最高可用 reasoning effort;原表不意味着所有结果都在同一推理预算、同一框架版本下重新测得。

读这些分数时,要带上运行条件

报告的 DeepSWE 使用 mini-SWE-agent,PaperBench 使用 BasicAgent,其他 agentic coding 任务使用 Claude Code。CyberGym 与 ProgramBench 的时限为 6 小时,Terminal-Bench 2.1 为 8 小时,3.0 / 4.0 为 10 小时,PaperBench 为 12 小时。这些成绩不能直接预测你用另一套 harness、较短预算跑出的结果。

从这组选项看,模型在 NL2Repo 和 SkillsBench 上有值得关注的表现,但在 SWE-Bench Pro、更新的 Terminal-Bench 上仍有明显差距。2.1 与 3.0 的分数变化也不是同一试卷上的能力下降,它们对应不同任务集。

“参与改进自己”具体做了什么?

报告给出的案例,是模型追踪工具调用错误,发现训练数据偏向单一 schema,并存在工具定义与参数不一致的记录;随后提出清洗与混合 schema 增强,准备训练与评测。该迭代使用 2.35B token、938.7 GPU 小时,关键诊断和训练运行经过人类专家审查。

这说明模型可以参与失败分析与实验执行。报告没有提供该案例足够完整的前后成绩与因果消融,不能仅凭这个流程就认定自主自我改进已被充分验证。

还有哪些边界?
  • 模型输入是纯文本,报告中的前端应用生成不等于原生图像理解能力。
  • 专用工具调用格式需要服务端 parser 与 harness 配合,换接口仍可能暴露适配问题。
  • 最终成绩是整条训练流水线的结果,不能从中分离出每一项技术的独立收益。

数值与评测条件:§5、表 2(第 13–14 页)。自我改进案例与限制:§6.2 及 Limitations。比较与证据判断为本站分析。

09放到 Lego-RL 里,先学哪几件事

下面是基于论文思路的工程建议,不是已实现功能清单,也不是已经验证的提分配方。即使暂时不做四教师蒸馏,也可以从训练样本的可追溯性开始。

1

先让 episode 条件可复现。为轨迹记录 harness 名称与版本、环境标识、验证器版本、采样策略版本。先能解释为什么同一任务跑出了不同结果,再扩大混合训练。

2

把失败类型与 reward 分开。至少区分策略失败、环境故障、评分故障和有效成功。保留原始执行证据,并单独统计无效样本比例,避免“训练 reward 变好”只是无效数据比例变了。

3

验证 token、上下文与 mask 的对齐。重点覆盖多轮工具调用、分支、上下文重建和异步版本切换。先确认 logprob 属于哪个 token、哪段前缀和哪个策略版本,再讨论 IS 或蒸馏公式。

4

蒸馏从一个教师开始。先跑通学生 rollout → 教师在同一上下文上前向 → token 优势 → 学生更新;检查正负号、停止梯度、生成位置 mask 和重复轨迹处理。多个领域与教师切换可以在这条链路可信后再扩展。

5

每次只验证一个变化。例如先固定数据与 harness,看单教师 MOPD 的收益,再扩成多教师;merge 应独立做跨领域回归。这样才能知道改善来自教师、数据混合、任务条件还是参数合并。

与当前 SAO / GSPO 的关系

任务质量、失败归因、版本记录和 TITO 对齐,都可以用于不同策略优化方法。MOPD 则引入了教师来源的 token 信号与相应损失,需要单独设计目标和调度。它不是打开 SAO / GSPO 里的一个 IS 开关;这份报告也没有验证“SAO + MOPD”或“GSPO + MOPD”的具体组合。


← 全部解读