论文解读 · Long-Horizon Agentic RL

CompactionRL：把"上下文压缩"从推理技巧变成可训练的动作

长程 agent 迟早会撞上上下文墙。业界的常规做法是到了墙边就做一次摘要、然后在新窗口里继续——但摘要本身从来没有被训练过。CompactionRL 把摘要 token 也塞进 RL 的损失里，和执行动作共享同一个任务奖励。

CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents
Yujiang Li*, Zhenyu Hou*, Yi Jing, Jie Tang, Yuxiao Dong · 清华大学 / Z.AI · arXiv:2607.05378v1（2026-07-06）
模型：GLM-4.7-Flash (30B-A3B)、GLM-4.5-Air (106B-A30B)；该方法已被用于 GLM-5.2 (750B-A40B) 的 RL 流水线

一句话：当上下文预算耗尽时生成的那段摘要，不是预处理，而是一个决定后续所有动作成败的策略行为——所以它必须被 RL 训练，而不是被当作外部工具调用。

01问题：长程 agent 撞上的那堵墙

SWE-bench、Terminal-Bench 这类任务的形态是：反复"推理 → 调工具 → 看环境反馈 → 改计划"。ReAct 风格的做法是把完整交互历史一路拼进 prompt，于是上下文长度随轨迹单调增长。工具输出、中间推理、报错信息、半成品补丁堆在一起，很容易在任务完成之前就把窗口撑爆。

把窗口做长不是答案：一方面成本高，另一方面长序列上的有效信息利用率本身会退化（论文引了 LongBench / RULER 那条线）。所以长程 agent 的 RL 训练必须在固定上下文预算下跑通。

上下文压缩（context compaction）是自然的解法：历史快撑满时，把之前的交互摘要成一个短状态，agent 从"摘要 + 一小段最近历史"继续。但此前的用法基本都是推理期启发式或外部记忆操作。论文指出，在 RL 训练里压缩的地位要更根本：

02先导实验：摘要模型换一个，成绩差 6.5 个点

论文先用一个干净的对照说服你"摘要很关键"：执行 agent 固定为 GLM-4.7-Flash，只替换负责写摘要的模型。

6.5 个点的差距，全部来自"谁来写这段摘要"。而且好的摘要还顺带减少了压缩触发次数——信息保留得好，后续就不需要反复重新探索、把窗口重新撑爆。一份丢掉了关键文件路径、报错信息、失败命令或半成品补丁的摘要，会让后面每一个动作都失效，哪怕执行策略本身很强。

结论很直接：压缩是一个性能关键的决策过程，不是被动的预处理步骤。那就把它一起训。

03方法：把压缩塞进 rollout 采集

① 触发条件

把交互历史记为 h_t = (s, u, z_1, ..., z_t)，其中 s 是 system prompt，u 是用户指令，z_i = (a_i, o_i) 是"助手响应 + 环境观测"对。z_i 被当作原子步——工具调用和它的反馈绝不会被压缩切开。

设 C 为上下文预算，压缩在剩余预算低于阈值 T_comp 时触发：

② 摘要生成与上下文重建

触发后，把一段固定的摘要指令 q_sum 追加到当前历史后，从当前策略里采样一段摘要：

q_sum 要求模型保留继续任务所需的信息：原始目标、已完成的动作、重要观测、未解决的错误、当前状态、以及合理的下一步。然后重建上下文：

即 system prompt + 含摘要的固定续写模板 + 最近 k 步原样保留（塞不下时再减小 k）。这个设计的分工很清楚：长程信息靠摘要压缩，近端环境状态保持逐字精确——因为 agent 下一步动作往往直接依赖上一条工具输出的确切内容。

③ 段（segment）与共享奖励

一条带压缩的完整 rollout 被自然切成一串生成 token 段：

关键点：摘要器不是外部模块，摘要 token 由同一个可训练策略采样，并被计入 RL 目标。每条 rollout 拿到一个由任务正确性决定的终局奖励 R(τ)，这个奖励分配给该 rollout 的所有可训练段。

04为什么 GRPO 在这里用不了

GRPO 这类组相对方法的做法是：对每个 prompt 采一组 G 条完整 rollout，用组内奖励归一化来估计 advantage。压缩把这个假设打碎了：

• 样本数量对不上。如果把每个压缩段当作一个优化样本，那么一组 G 条 rollout 产生的不是 G 个样本，而是 Σ_g K_g 个段（K_g 是第 g 条的段数）。由于同一 rollout 的所有段共享同一个终局奖励，压缩次数多的 rollout 会在组统计里被重复计入更多次，从而获得不成比例的权重。
• 退回整条 rollout 层面归一化也不行。那样就拿不到段级 advantage，而执行段与摘要段是被独立优化的。

所以 CompactionRL 选择 PPO + 显式 critic：基于价值函数的 advantage 估计不依赖固定大小的奖励组，天然支持数量可变的压缩段——甚至支持一个 prompt 只采一条 rollout（实验里 group size 就是 1）。

05两个针对压缩轨迹的修正

① Token 级损失归一化

轨迹长度和摘要长度差异极大（执行段可能几千 token，摘要段两千出头）。论文用 token 级损失而非序列级损失。设 M 为一个 batch 中所有被优化的助手 token 位置：

归一化分母是 token 数而不是样本数。如果按段平均，压缩事件更多的 rollout 就会贡献更大的梯度权重——哪怕两条 rollout 拿的是同一个任务奖励。token 级归一化消除了这个 segment-count 偏置，让每个可训练 token 权重相等。

② 跨轨迹 GAE（Cross-Trajectory GAE）

这是全文最精巧的一处。每个段被独立优化，意味着朴素的段级 GAE 会把共享的终局奖励放在每一段的末尾。对早期段来说，任务结果看起来比实际"近"得多——于是那些发生在任务完成很久之前的动作和摘要被过度加分。

段 σ_s 内的局部 GAE 照常算：

然后令 N_{>s} = Σ_{j>s} n_j 为该 rollout 中段 σ_s 之后生成的可训练 token 总数，施加一个轨迹位置修正：

为什么这样就对了？如果终局奖励出现在每个独立优化段的最后一个 token 上，那么修正后 token (s,i) 处的奖励项折扣是

——这正好等于它在拼接后的完整压缩轨迹里到终局的真实距离。一行乘法，把被压缩切断的时序信用重新接了起来。

06实验设置

• 模型：GLM-4.7-Flash (30B-A3B)；GLM-4.5-Air-SFT (106B-A30B)（先用 GLM-4.7 生成的轨迹对 GLM-4.5-Air 做 SFT）。
• Critic：从同一个 checkpoint 初始化，RL 之前先在训练集上做 50 步 value pretraining；训练中每个 batch 更新 2 次 critic、1 次 policy，让价值估计跟得上策略。
• 数据 / 框架：SWE-Dev 开源训练数据；slime 异步 RL 框架。
• 超参：global batch 128，group size = 1，上下文预算 64k（30B）/ 80k（106B），policy lr 2e-6，critic lr 3e-6；长度自适应 GAE，λ = 1 − 1/(αl)，α = 1.5（l 为响应长度）；单条助手响应 ≤ 10,240 token；剩余预算 < 10,240 时触发压缩；每条 rollout 最多 3 次压缩。
• 评测：SWE-bench Verified 随机 200 条子集 + Terminal-Bench 2.0 全集；Harbor 环境 + Terminus-KIRA 脚手架；temperature 1.0 / top-p 1.0，最多 250 轮交互，最多 3 次压缩；报告 2 次评测的均值。

07主结果

Pass@1 (%)。注：本文所有结果（含 Qwen3.5-35B-A3B）的 SWE-bench Verified 都在随机 200 条子集上评测，公开基线则是全集，不能直接横比。

三条可以带走的读数：

1. 在固定峰值上下文下，CompactionRL 的压缩推理成绩在两个 benchmark 上都是最好的。压缩感知训练确实提升了"在被压缩过的历史上继续行动"的能力。
2. 标准 RL 的收益不迁移。它能提升单窗口执行（30B：47.5→50.0），但到了压缩推理反而掉（50.5→48.0；TB2.0 甚至 13.4→12.4）。训练时没见过压缩历史，测试时就不会用。
3. CompactionRL 在单窗口下会掉（30B：47.5→43.7）。论文明说这是预期内的：关掉压缩就和训练设定失配，超长截断率上升。

08消融一：压缩训练与摘要训练各自贡献了什么

这张表额外加了一列 Long：用两倍大的非压缩窗口（30B 用 128k，106B 用 160k）作为"假装上下文足够长"的强参照。

两点：

• 压缩训练能对上甚至打过"上下文翻倍"的参照。106B 上 CompactionRL（80k 峰值，×4 评测）66.8 > RL-160k 的 64.5——用一半的峰值窗口，拿到更好的成绩。
• 摘要入损失是必要的。"开压缩但把摘要 turn 的损失 mask 掉"这个变体在两个规模、两个 benchmark 的压缩评测上都不如完整版（30B：54.5 vs 56.0；106B：64.5 vs 66.8；TB2.0 差距更明显）。这把"见过压缩历史"和"优化摘要器"两个效应干净地分开了。

09消融二：两个优化修正缺一不可

去掉 token 级损失归一化后，成绩几乎完全掉回基座水平（66.8 → 60.0，基座 59.8）——也就是说压缩训练的全部收益都被 segment-count 偏置吃掉了。这个结论有点反直觉：跨轨迹 GAE 是论文里数学上更漂亮的那个部件，但真正致命的是更朴素的那个损失权重问题。

10行为分析与训练动态

压缩行为（SWE-bench Verified，GLM-4.5-Air，80k×4）

这张表比主表更有信息量。CompactionRL 的压缩次数（0.36）和工具调用数（60.7）都比基座和"不训摘要"变体低，但比不含压缩的 RL 高。也就是说：

• 它会用压缩带来的延长视界（比 RL-80k 的 0.21 多），而不是像不含压缩的 RL 那样学会"尽早收工避免超长"；
• 但它不滥用压缩（比"不训摘要"的 0.58 少）。训好的摘要保留了任务相关信息，减少了压缩之后的冗余重新探索——所以收益不能简单归因于"轨迹更长"。
• 在真正触发压缩的那批任务子集上，CompactionRL 的 Pass@1 最高（47.7），这是"能可靠地从压缩历史继续"的直接证据。

训练动态（原文 Figure 4）

• 摘要长度：CompactionRL 训练中摘要越来越长、越来越细（约 1600 → 2400 token）；而"不训摘要"变体的摘要长度在下降。奖励信号在告诉模型：多留实现细节比只记高层进度更有用。
• 每轮推理 token：CompactionRL 一路上升（约 60 → 200+），而"不训摘要"和"不含压缩"的变体都在下降。可学习的压缩实际扩大了可用上下文，于是腾出了更多推理预算。
• 熵：CompactionRL 的熵上升更慢，策略优化更可控。

11局限（论文自述）

• train–test 失配：模型是为"开压缩执行"训练的，收益不能稳定迁移到关闭压缩的单窗口评测（30B 上 SWE-V 单窗口从 47.5 掉到 43.7）。要部署在没有测试期压缩的场景就不合适。
• 跨轨迹 GAE 只是近似。它用"后续 token 数"近似完整轨迹的信用分配，未必能完整刻画早期摘要跨多个压缩边界的长期影响。
• 只验证了代码类长程任务。观测结构和奖励信号差异更大的其他 agent 领域（网页、GUI、多模态）还没验证。

---

12值得带走的三点

1. "压缩是一个动作，不是一个工具"这个视角切换，是本文的全部价值所在。 Table 1 那 6.5 个点的先导实验先把问题立住：摘要器决定成败。剩下的工作都是在回答"那怎么训它"。不引入人造摘要奖励、只用终局任务奖励反传，是个克制而正确的选择。
2. 压缩把 RL 的数据结构改了，算法必须跟着改。 一条 rollout 变成数量不定的段，直接导致组相对方法失效（→ 回到 PPO + critic，group size = 1）、序列级损失产生 segment-count 偏置（→ token 级归一化）、段级 GAE 错置终局奖励（→ (γλ)^{N>s} 修正）。这三处改动是同一个根因的三个推论，很干净。
3. 消融告诉你哪个部件真正在挑担子。 去掉 token 级损失归一化，66.8 掉到 60.0——基本回到起点。工程上如果只能实现一件事，先把损失归一化做对，再去做那个更漂亮的跨轨迹折扣。

---