IQuest-Q1:把多种 CLI 经验练进一个模型
同一份代码,换一个 agent 框架,为什么就不会改了?从可验证的任务、版本固定的 GRPO,到“四个专家教一个学生”的异步 MOPD,读懂这份技术报告的训练思路。
把一个会写代码的模型变成可靠的 CLI agent,要让它在不同工具接口、任务环境和长轨迹中都能把事情做完。IQuest-Q1 给出的方案,是先训练有不同长处的专家,再让同一个学生在自己的执行轨迹上向这些专家学习。
模型规模与训练量见原文 §2–3、表 1;教师设置见 §4.5。512K 描述训练上下文阶段,不代表所有 agent 任务的有效工作长度。
01先看整条训练路线
先设想一个小例子:模型已经知道该运行测试,但旧框架把工具叫 run_command,新框架要求 shell,参数结构也变了。它可能还没碰到代码问题,就先卡在工具调用上。这个例子说明,代码知识、操作流程和接口适配,都是最终任务能力的一部分。
语言、代码与科学知识;提高代码数据比例。
文档、问答和 agent 轨迹;逐步扩展上下文。
学习 assistant 响应与工具调用,为后续训练打底。
训练专长不同的专家,再反馈给同一个学生。
组合不同阶段与分支的参数增量。
这是依据原文图 2、图 6 重画的阅读路线。模型合并与训练交错进行,不能把它理解为只有最后一次合并。
几个量级要分开看:29T 是预训练与 mid-training 的总量;SFT 的两个阶段分别使用 240B+、50B+ token。长上下文训练依次经过 32K → 128K → 512K。这些都是不同阶段的描述,报告没有把它们汇成一份可直接照抄的完整 RL 算力预算。
Mid-training 里值得注意的是 token 级监督:一段轨迹中的哪些位置计算 loss,可以独立于消息角色来指定。SFT 则明确监督 assistant 内容和工具调用,用户指令及工具返回只提供上下文。对工程实现而言,“模型看到了这段文字”和“模型应该学习生成这段文字”要分别记录。
基础模型为什么能支撑这条路线?
模型用稀疏 MoE 与局部 / 全局混合注意力来控制计算开销。中间层按 3 个滑动窗口注意力层接 1 个全局注意力层重复;滑动窗口为 4,096,首尾另有全局层。每个 MoE 层有 256 个路由专家,每 token 激活 8 个。这些“层内专家”与后文四个完整的教师模型是不同概念。
Stable SplitNorm、Muon 和 μP 是其稳定扩展方案的组成部分。报告在相同数据的对照中给出 1.93× 的训练算力效率:达到相同训练 loss 约用基线 52% 的 FLOPs。这个数字不等于推理吞吐翻倍,也不能单独归因于某一项结构。
报告还把最优学习率与最大稳定学习率之间的距离作为扩展余量。文中约 12T 总参数的临界规模来自拟合外推,不是已经训练并验证的 12T 模型。
02一个可训练任务,究竟包含什么
“请修复这个 bug”只是一句指令。要把它变成 RL 数据,还需要能启动的环境、允许使用的工具、判断修复是否成立的验证器,以及清楚的版本信息。否则,失败可能来自题目坏了,成功也可能来自测试根本没有检查到目标行为。
题目:空输入时程序报错。环境:固定仓库版本与依赖。验证器:空输入得到约定结果,原有非空输入行为保持正确。参考修复应该通过;不改任何代码应该失败。如果两种方案都通过,先修题目和验证器,再谈训练模型。
报告的 coding 任务构造强调这种闭环:先得到可执行实例,再检查指令、环境、参考方案与验证器是否一致;重复运行 agent 来估计难度,保留有效但模型仍不会做的任务。它还允许在已验证的环境上改写任务、注入故障、提高约束,再重新验证。
参考解能过、no-op 不能过,是必要的质量检查,但还不够。例如,只判断退出码的测试,可能被一个永远返回成功的脚本骗过。这也是为什么报告另外检查执行轨迹和最终产物,而不只相信一个终局分数。
| 检查发生在哪里 | 要解决的问题 | 对训练的意义 |
|---|---|---|
| 环境准备 | 清理可能泄露答案的历史或文件,隔离隐藏验证材料。 | 成功应该来自完成任务。 |
| 执行期间 | 按任务限制越界访问;被阻止的操作返回明确反馈。 | 让 agent 在合法条件下继续尝试。 |
| 轨迹审核 | 结合规则与 rubric 检查命令、工具结果和提交内容。 | 确认作弊的轨迹不进入训练。 |
这里的限制服务于训练任务的有效性,不是一套要求用户在日常开发中照搬的权限规则。不同任务需要的隔离方式也不同:修仓库、终端操作、从文档重建程序,不能只套同一张黑名单。
依据:§4.1–4.2。空输入修复与退出码例子为本站构造。
03多框架 GRPO:哪些样本可以一起比
Harness / scaffold 可以理解成模型周围的工作台:它决定工具接口、上下文管理、执行流程和环境反馈。报告让共享策略在不同工作台及其版本上收集轨迹,同时把这些条件写进每个 episode。
但“同时训练多个框架”并不意味着把它们随意混成一个 GRPO 比较组。文中明确说,同一组比较的是同一任务、固定 harness 与 evaluator 版本下的重复 rollout。否则,一条轨迹得分低,可能只是因为换了工具、预算或评分规则。
任务 X + 框架 A / v1 + 验证器 v3
轨迹 A1、A2、A3……在组内比较
任务 X + 框架 B / v2 + 验证器 v3
轨迹 B1、B2、B3……在组内比较
分组示意,不代表论文公开了这些具体版本或组大小。
失败要先归因,才能决定怎么训练
报告把最终正确性交给独立验证器。长轨迹的辅助奖励只承认可测量的进展,同时考虑无谓计算、约束违反等成本。模型生成的诊断若要参与评分,需要执行记录作为证据。
| 一种失败 | 怎样理解 | 报告给出的处理原则 |
|---|---|---|
| 模型改坏了代码 | 策略行为导致失败 | 可以形成学习信号 |
| 环境故障,与策略无关 | 例如可确认的基础设施异常 | 屏蔽相应无效信号 |
| 验证器本身出错 | 当前分数不可信 | 阻止样本被消费 |
判断依赖证据:同样是命令失败,可能是模型拼错参数,也可能是 adapter 把合法参数转换错了。把所有失败都压成 reward=0,会让训练目标混入运行系统的故障。
论文说明了 GRPO、多框架分组、奖励原则和失败归因,但没有完整给出 RL loss、采样组大小、各奖励系数,以及 TIS / MIS / DIS 的类型与阈值。不能据此声称它用了你当前 SAO 配置里的双侧 IS。
依据:§4.4。分组图和故障例子为本站解释。
04MOPD:学生做题,专家反馈
可以把四个专家想成四位擅长不同课程的老师:交互体验、多框架适配、长程任务、通用 agent。学生从 SFT Stage 2 的模型开始,自己走一遍任务,再由任务领域对应的冻结教师评价学生已经生成的 token。
为什么让学生自己做?假设老师总能顺利定位问题,老师的轨迹就很少包含学生经常走进的错误分支。学生先执行,老师才能对学生实际遇到的状态给反馈。这是 on-policy distillation 的直观动机。
反馈不是“这个 token 打几分”,而是一个概率比
固定一个上下文 h 和学生生成的 token y。记 pₖ(y|h) 为采样学生策略的概率,q_d(y|h) 为领域教师的概率。论文定义:
- 教师比学生更认可这个 token:概率比大于 1,信号为正,鼓励它。
- 教师比学生更不认可这个 token:信号为负,抑制它。
- 两者概率相同:这个 token 的蒸馏信号为 0。
“认可”只是帮助理解概率的说法:教师可能判断错,正的蒸馏信号不等于任务一定成功。概率差越大也不能无限放大更新,所以要把 log 比值限制在 [−c, c]。
展开看完整损失:哪些 token 参与、哪些量停止梯度?
指令和工具观测只作为上下文,不加入上述位置集合。轨迹、上下文、优势和 mask 在求导时固定;梯度经过当前学生的 log pθ。每条轨迹先按生成长度归一化,避免仅仅因为更长就得到更大的总权重。
这个形式受 reverse-KL 蒸馏启发。加入 clipping、固定采样批次和异步执行后,应按论文称为 surrogate,而不要把每次更新都当成精确、同步的 KL 梯度。
这里的 q 是教师;前一篇 SC 笔记里的 q 是实际采样分布,两者含义不同。MOPD 用“教师 / 学生”的 log 比值构造学习信号;IS 用概率比修正采样与目标分布的差异;SC 校正更新方向的平均偏移。出现概率比,不代表做的就是同一种校正。
依据:图 6、§4.5、式 (4)–(5)。课堂类比与三种方法的对比为本站解释。
05交互:一个 token 怎样得到蒸馏信号
下面只观察同一个上下文中的同一个已采样 token。拖动两端概率,看看老师比学生更认可或更不认可它时,训练信号怎样变化。演示默认 c=1,是教学取值,不是论文披露的超参数。
教师概率更高,这个 token 得到正的蒸馏信号;超出阈值的部分被截断。
色条表示 m × ã 的符号和相对大小,不是概率变化量,也不是完整参数梯度;真实更新还要乘 score、按轨迹长度归一化,并受同批其他 token 影响。
试着勾选“重复轨迹”:老师的概率不会变,原始优势也不会变,但有效训练贡献会归零。数据能不能用,与教师给了什么信号,是两个独立步骤。
06TITO、异步与训推一致性
多轮 agent 会不断交替生成、调用工具、接收反馈。训练时要重建的,不只是看上去一样的一段聊天文字,还包括实际生成的 token、它当时看见的前缀、哪些位置是模型动作,以及对应的概率。
TITO:把实际走过的 token 路径留下来
报告在模型服务边界实现 Token-In, Token-Out,并用 session 级前缀树保存不同轮次、不同分支共享的 token 历史。新请求在记录的前缀上结合环境观测;最终从树中得到轨迹、奖励与 token mask。
这张树用于解释数据关系,不是论文实现的字段或存储布局。
| 不一致发生在哪层 | 报告描述的措施 | 能解决到哪里 |
|---|---|---|
| 轨迹与上下文 | TITO、前缀树、token mask | 帮助保留执行时的 token 路径和监督位置 |
| 概率计算路径 | 教师与学生 logprob 使用同一训练引擎路径 | 减少由不同计算实现额外引入的差异 |
| 异步参数版本 | 周期同步学生权重、显式控制样本陈旧程度 | 限制 rollout 相对训练策略的滞后 |
这三层措施不能互相替代。token 完全对齐,仍可能存在权重版本滞后;学生与教师使用同一引擎,也不会让两者分布变成一样。TITO 本身更不等于已经做了重要性采样。
四位教师怎样共用资源?
异步系统把教师权重放在分布式存储中,需要哪位教师就加载对应分片;计算当前教师时,预取下一位教师的权重。其目标是让教师数量增加时,不必同比增加常驻 GPU 副本。
这项设计把问题从“常驻显存够不够”转为“切换与预取能否跟上任务分布”。报告没有给出这部分的具体吞吐、切换耗时或最优调度参数。对自己的系统,要测教师前向等待、权重加载时间和学生数据陈旧程度,才能判断资源复用是否划算。
依据:§4.7(第 12–13 页)。三层分类、前缀树示意及测量建议为本站分析。
07模型合并:还要在参数空间整合
MOPD 通过学生轨迹上的反馈把能力教给学生。报告还交错使用 residual model merging:选一个参考 checkpoint,看每个分支相对它改了多少参数,再组合这些增量,校准整体范数后加回参考模型。
这是概念表达。报告说明使用指定权重和全局 ℓ₂ 范数校准,但没有公开足以复现所有合并的权重表、参考选择与校准细节;上式不是作者发布的完整算法。
可以把它想成几位专家分别修改了同一份程序。把修改汇总有机会保留各自长处,但不同修改也可能冲突。参数增量发生在同一个巨大向量空间里,所以全局范数对齐并不等于逐项解决了能力冲突,仍需要跨领域回归评测。
这也影响实验解释:最终模型同时经历多阶段训练、蒸馏和合并。报告没有给出足够的逐项消融,不能把最终 benchmark 提升全部归到 MOPD 或某一次 merge。
08评测结果与证据边界
下面只选取表 2 中几项与 coding agent 和交互体验密切相关的结果。它们能帮助定位能力,也能看到短板;不同 benchmark 的分数不能跨行直接比较。
| Benchmark | IQuest-Q1 | GLM-5.3 Flash | Claude Opus 5 | GPT-5.6 Sol |
|---|---|---|---|---|
| DeepSWE v1.1 | 64.6 | 63.4 | 73.7 | 73.0 |
| SWE-Bench Pro | 57.5 | 59.4* | 79.2 | 64.6 |
| NL2Repo-Bench | 63.0 | 56.3 | 75.3 | 56.8 |
| SkillsBench | 74.1 | 56.2* | 76.2* | 71.5* |
| Terminal-Bench 2.1 | 83.2 | 84.3 | 89.1 | 88.8 |
| Terminal-Bench 3.0 | 17.9 | 30.0* | 42.7 | 34.6 |
| IQuest-CLIBench‡ | 53.7 | 49.5* | 58.2* | 58.5* |
* 为报告作者复测;未标星的对照分数按原文引用。‡ 为内部评测,不是独立公开榜单。各模型使用其最高可用 reasoning effort;原表不意味着所有结果都在同一推理预算、同一框架版本下重新测得。
读这些分数时,要带上运行条件
报告的 DeepSWE 使用 mini-SWE-agent,PaperBench 使用 BasicAgent,其他 agentic coding 任务使用 Claude Code。CyberGym 与 ProgramBench 的时限为 6 小时,Terminal-Bench 2.1 为 8 小时,3.0 / 4.0 为 10 小时,PaperBench 为 12 小时。这些成绩不能直接预测你用另一套 harness、较短预算跑出的结果。
从这组选项看,模型在 NL2Repo 和 SkillsBench 上有值得关注的表现,但在 SWE-Bench Pro、更新的 Terminal-Bench 上仍有明显差距。2.1 与 3.0 的分数变化也不是同一试卷上的能力下降,它们对应不同任务集。
“参与改进自己”具体做了什么?
报告给出的案例,是模型追踪工具调用错误,发现训练数据偏向单一 schema,并存在工具定义与参数不一致的记录;随后提出清洗与混合 schema 增强,准备训练与评测。该迭代使用 2.35B token、938.7 GPU 小时,关键诊断和训练运行经过人类专家审查。
这说明模型可以参与失败分析与实验执行。报告没有提供该案例足够完整的前后成绩与因果消融,不能仅凭这个流程就认定自主自我改进已被充分验证。
- 模型输入是纯文本,报告中的前端应用生成不等于原生图像理解能力。
- 专用工具调用格式需要服务端 parser 与 harness 配合,换接口仍可能暴露适配问题。
- 最终成绩是整条训练流水线的结果,不能从中分离出每一项技术的独立收益。
数值与评测条件:§5、表 2(第 13–14 页)。自我改进案例与限制:§6.2 及 Limitations。比较与证据判断为本站分析。
09放到 Lego-RL 里,先学哪几件事
下面是基于论文思路的工程建议,不是已实现功能清单,也不是已经验证的提分配方。即使暂时不做四教师蒸馏,也可以从训练样本的可追溯性开始。
先让 episode 条件可复现。为轨迹记录 harness 名称与版本、环境标识、验证器版本、采样策略版本。先能解释为什么同一任务跑出了不同结果,再扩大混合训练。
把失败类型与 reward 分开。至少区分策略失败、环境故障、评分故障和有效成功。保留原始执行证据,并单独统计无效样本比例,避免“训练 reward 变好”只是无效数据比例变了。
验证 token、上下文与 mask 的对齐。重点覆盖多轮工具调用、分支、上下文重建和异步版本切换。先确认 logprob 属于哪个 token、哪段前缀和哪个策略版本,再讨论 IS 或蒸馏公式。
蒸馏从一个教师开始。先跑通学生 rollout → 教师在同一上下文上前向 → token 优势 → 学生更新;检查正负号、停止梯度、生成位置 mask 和重复轨迹处理。多个领域与教师切换可以在这条链路可信后再扩展。
每次只验证一个变化。例如先固定数据与 harness,看单教师 MOPD 的收益,再扩成多教师;merge 应独立做跨领域回归。这样才能知道改善来自教师、数据混合、任务条件还是参数合并。
任务质量、失败归因、版本记录和 TITO 对齐,都可以用于不同策略优化方法。MOPD 则引入了教师来源的 token 信号与相应损失,需要单独设计目标和调度。它不是打开 SAO / GSPO 里的一个 IS 开关;这份报告也没有验证“SAO + MOPD”或“GSPO + MOPD”的具体组合。