Paper Notes · Long-Horizon Agent Data

TerminalHorizon:
让环境留下真正需要做的工作

长轨迹的价值,是后面的判断确实用上了前面的证据。先理解任务怎么造,再读懂约 3K 条 SFT 轨迹带来的收益,以及这些实验还回答不了什么。

Scaling Agentic Data for Long-Horizon Terminal Intelligence
Shun Zou、Ziyu Ma、Yi Zou 等 · 中国科学技术大学 / 高德,阿里巴巴集团 / 南方科技大学
arXiv:2610.13166 v1 · 中文解读:2026-11-05
项目页与结果 · 论文 HTML · PDF
环境数据集 · 轨迹数据集 · 模型权重

如果造题时已经把分析结果、关键实现和正确方案塞进环境,学生看见的“复杂任务”就可能只剩改一个常量。TerminalHorizon 的核心,是通过独立试做找出这些被提前完成的工作,再重建环境,让探索、诊断、实现和验证真正发生在求解过程中。

1,535可执行任务环境
2,852保留的教师轨迹
52.82平均交互轮数
+13.85TB 2.1 提升,百分点

来源:论文 §3、表 2 与项目页。轨迹轮数不是 token 数;数据规模不是训练成本。TB 2.1:Qwen3.5-27B 46.82 → TerminalHorizon-27B 60.67。

01论文到底改变了什么

这是一项环境与训练数据构造工作。最终模型通过监督微调(SFT)学习教师在终端里的多轮行为;主要实验没有引入新的策略优化目标,也没有在这批任务上报告 RL 训练收益。它对 Agentic RL 的意义首先在任务、轨迹与验证器这一侧。

作者用 27 类行为描述长程工作,并归成五组:信息探索与判断、诊断与纠错、构建与推进、验证与确认、策略与执行协调。关注点在它们如何连接:日志改变假设,假设决定下一次实验,实验结果决定保留哪次修改,最后再核对交付物。

一个贯穿全文的区别

“连续调用了 50 次工具”只能说明交互多。“第 30 次观察推翻了第 10 次的判断,促成新实现,并在最终回归中被验证”才展示了跨阶段的问题求解。后一句是本站的教学表述,概括论文的设计目标,并非作者使用的自动评分公式。

依据:论文 §1、§2.1、§3;27 类模式的定义见附录 E。

02先让独立求解者暴露造题问题

任务包可以写成 T = (I, E, S, V, M):公开指令、可执行环境、参考解、私有验证器和执行配置。学生求解时只能看到公开指令与环境;参考解和私有测试留在构造与评估侧。私有测试可以保密,但被要求完成什么,必须能从公开需求和可发现的环境证据中得知。

① 从真实专业工作出发规划 → 深入调研

结合已有任务和反馈选择覆盖不足的方向,调查文档、代码与实际问题,形成任务种子和判断完成情况的依据。

② 把问题变成可运行包联合构造环境与评分

同时建立初始状态、公开要求、参考实现、验证器与配置,避免题目和评分各说各话。

③ 让未参与造题的模型试做独立挑战 → 缺口分析

只给公开信息,检查它实际做了什么,哪些分析、实现或验证被初始环境提前完成。

④ 根据轨迹修复任务重建 → 再次执行

修改初始材料、对象关系、接口反馈和待实现部分,并同步更新需求与评分;有效经验也反馈给下一批规划。

例如,一个任务要求实现核心算法,但环境中已有完整实现,求解者只切换一个参数就能通过。作者要恢复的是缺失的实现和调试工作。高效地完成真实要求仍然是有效解法;重建不应惩罚一个更聪明的短解。

依据:论文 §2.1–2.2。上例沿用论文对“核心功能已被环境提供”的解释,以中文重新表述。

03渐进扩展:让下一阶段依赖前一阶段

一个能运行、能评分的任务,是扩展的起点。作者围绕同一个目标增加职责、补足更深的机制、加入更丰富的证据,或要求升级方法。扩展还要检查:原来的解法是否已经能直接满足新要求;如果能,就未必增加了新的实质工作。

关键是把新要求落在交互依赖上:后续决定需要之前查到的证据;工具动作造成可观察的后果,要求后续诊断与纠正;实例状态变化后,模型需要重新检查、适配并验证。扩展后的环境、公开指令、参考解与评分条件一起更新。

教学例子:把一次同步扩展成状态协调

第一版只把源照片导入目标库。第二版允许两端分别修改评分,就需要比较“上次同步状态、源端新值、目标端新值”。再加入删除与恢复,就需要判断删除是否会覆盖目标端之后的新编辑。新增工作来自状态之间的关系与冲突,而不是单纯把照片数量扩大十倍。

方法依据:论文 §2.3。照片同步例子依据项目页的演化展示重述;这里的叙述用于解释依赖关系,不是新增实验。

04长轨迹怎样才值得学

作者在 1,535 个环境上,用 DeepSeek-V4-Pro-0813 与 Terminus2 每题收集两条轨迹,经过程过滤后留下 2,852 条。环境覆盖 25 个专业领域,项目页进一步列出 463 个子领域。轨迹平均 52.82 轮,中位数 40 轮,P90 为 98 轮。

论文还报告了两个更接近“行为连接”的描述:最长连续终端反馈链的中位数为 25 轮;每条轨迹平均包含 8.6 类核心行为模式。它们补充了纯轮数统计,但仍是数据分析指标,不能独立证明每一轮都有训练价值。

轨迹筛选:从最后是否成功,转向过程是否值得模仿
维度检查什么
轨迹有效性上下文与动作—观察对应关系可解释;排除严重损坏、答案泄漏、状态篡改或绕过规定接口。
有环境依据的推进文件、日志、错误与测试结果是否改变后续行动;排除长期忽略反馈和无根据的试错。
多轮训练价值观察是否推动实现、判断、验证或恢复;等待、轮询和机械重复不因增加轮数而加分。

失败轨迹可以保留。一次未解决的任务,也可能包含可靠的根因定位和有证据的回退。成功轨迹则可能靠泄漏或绕过约束完成。附录 F 的评审器读取完整对话,不额外接收最终 reward 或成败标签;可恢复的命令、解析错误也不会自动导致整条轨迹被丢弃。

教师比较:为何选择 DeepSeek-V4-Pro?

在随机抽取的 100 个任务上,GLM-5.2 / DeepSeek-V4-Pro 的平均轮数为 46.1 / 53.5,平均反馈链为 19.2 / 30.3,完全重复动作比例为 15.8% / 13.2%,通过率为 44.0% / 50.0%。这些结果支持作者的教师选择,但没有把“教师身份”和“轨迹更长”分别做成可归因的训练消融。

这里的 53.5 轮来自教师对比的 100 题子集,与最终数据集的 52.82 轮统计范围不同。

依据:论文 §3、表 3、附录 F、J.1;领域细分与更精确的轮数见项目页。其他构造方法的轮数比较使用同一教师协议,每种方法采样 300 题;这不是它们各自训练后模型的同配置性能比较。

05先固定训练与评测口径

主模型是 Qwen3.5-27B,用这批多轮轨迹做全参数 SFT,训练 3 个 epoch。最大序列长度为 262,144 token,关闭 sequence packing,采用 BF16、AdamW、余弦学习率与 DeepSpeed ZeRO-3;峰值学习率为 1e-5。正文报告通常使用 18 个节点上的 144 张 H20-141GB GPU。

“只用约 3K 条”需要怎样理解

它强调按轨迹条数衡量的数据效率。每条轨迹很长,还包含环境生成、研究、独立挑战、重建、教师执行、评审与训练成本。论文没有给出足以直接比较各方法全流程成本的统一账单,因此不能把“条数少十倍”直接写成“总成本少十倍”。

Terminal-Bench 使用 Harbor 与 Terminus-2 JSON parser,每题上限 3 小时,每题独立运行 3 次,报告平均 pass@1。这里的 3 次用于估计单次通过率,不是三次里成功一次就算通过的 pass@3。评测的上下文窗口为 262,144 token,并启用 harness 的主动摘要;成绩描述的是模型与这套执行配置的整体表现。

依据:论文 §4.1、附录 A.1–A.2。TB 2.0 的 Base=41.6 来自官方模型卡,表 1 特别标记,须与按本文协议测出的基线区分。

06结果解读:12 个基准,为什么有 13 行

计数是 3 个 Terminal-Bench 版本、4 个 Agentic 基准组,以及 5 个推理基准,共 12 个。AutomationBench 同时报告“所有断言都通过”和“通过了多少断言”,因此表中出现 13 项指标。下面保留项目页与论文的原始分数,不把不同指标平均成一个总分。

主模型 Qwen3.5-27B → TerminalHorizon-27B;分数均按 0–100 展示
基准 / 指标BaseSFT 后提升(百分点)
终端任务 · 3 个基准
Terminal-Bench 1.046.355.0+8.7
Terminal-Bench 2.0 †41.655.8+14.2
Terminal-Bench 2.146.8260.67+13.85
Agentic · 4 个基准组,5 项指标
AutomationBench · Pass Rate5.517.2+11.7
AutomationBench · Partial26.449.7+23.3
τ²-bench · Airline79.084.5+5.5
τ²-bench · Retail84.987.5+2.6
VitaBench · Cross-domain20.531.8+11.3
通用推理 · 5 个基准
MATH-50096.998.9+2.0
GSM8K96.397.3+1.0
AIME 202493.396.7+3.4
AIME 202586.793.3+6.6
KOR-Bench · Cipher90.191.2+1.1

百分点 = 新分数 − 原分数。TB 2.1 提升 13.85 个百分点;相对原分数的提升约为 29.6%,两者不能互换。

来源:论文表 1–2 与项目页 Results。† TB 2.0 基线取自官方模型卡。其他评测的重复次数、judge 与解码设置见附录 A.2,不统一称为同一种 pass@1。

一,最直接的收益在终端任务

TB 2.1 从 46.82 到 60.67,说明这套数据在作者的执行配置下能改善模型完成终端任务的能力。表 1 中,使用相同 Qwen3.5-27B 基座、同为 Terminus2 的 Terminal-Universe-27B,在 TB 2.0 为 52.8;TerminalHorizon 为 55.8,训练轨迹约 3K 对 32K。这是有参考价值的数据效率比较,但训练 recipe、token 总量和生成成本并没有因此被完全控制。

二,跨接口迁移比只涨 Terminal-Bench 更有信息

训练数据来自终端,AutomationBench、VitaBench 与客服场景仍出现收益,支持“学到的经验可以迁移到其他交互任务”这一解释。尤其 AutomationBench 的 Partial 从 26.4 到 49.7,反映更多评分断言完成;Pass Rate 从 5.5 到 17.2,则说明严格完成仍有很大改进空间。17.2% 不能因相对增幅大,就被描述为已经可靠自动化。

三,推理能力没有在这些评测里明显退化

五个推理基准都上升,支持“这次 SFT 没有以所测通用推理分数为代价”的结论。它尚不足以证明所有通用能力都被保留。AIME 每年只有 30 题,即使重复三次估计均值,题目覆盖仍小;不能仅凭几个百分点就判断已经稳定提升了同等幅度的推理能力。

07数据和模型放大后,收益怎样变化

TB 2.1:0 条轨迹 46.82;1000 条 57.30;2000 条 58.43;2852 条 60.67。
项目页原始训练数据规模图。本地保存以保证站点可独立加载;数值来自作者,解读由本站编写。

交互阅读:看累计收益,也看每段新增收益

只展示四个已报告的数据点,不插值预测更大数据集。

训练轨迹数TB 2.1比 Base 多(百分点)
046.82—
1,00057.30+10.48
2,00058.43+11.61
2,85260.67+13.85

前 1,000 条带来 10.48 个百分点,占最终累计提升的约 75.7%。后面仍有收益,但四个点无法确定更大规模时的曲线形状。

1000 → 2000 条新增 1.13 个百分点;2000 → 2852 条新增 2.24 个百分点。后两段的样本增量并不相等,也未报告多种子置信区间。作者据此认为未见饱和;更谨慎的理解是:已测范围内最高分仍随数据增加而提高,还无法拟合稳定的 scaling law,或保证继续增加同类轨迹仍有同等收益。

TB 2.1 模型对比:27B 从 46.82 到 60.67;35B-A3B 从 39.70 到 52.81;122B-A10B 从 49.06 到 64.04。
项目页原始模型规模图。增幅依次为 13.85、13.11、14.98 个百分点。

三个 Qwen3.5 配置都改善,说明训练价值不限于 27B 这一种配置。它们包括 dense 与 MoE,不能只按名字里的总参数直接推断计算量。35B-A3B 的 Base 低于 27B,也说明这里不是控制其他条件后测出的单一参数规模规律。

依据:论文 §4.3、附录 A.1 与项目页的数据规模、模型规模图。附录说明三种模型使用同一组 SFT 超参数,报告训练 3 个 epoch 后的最终 checkpoint。

0812 小时案例:持续改进,还要交付正确版本

RSI-Exam 的四个案例比较了相同研究预算下的行为。两种模型各有 12 小时,允许提前结束;研究期间看不到隐藏评测结果。最终评分针对实际提交的实现,不是事后替模型挑出的历史最优 checkpoint。

每个模型、每个案例各运行一次;分数为任务原生归一化 reward ×100,越高越好
案例BaseSFT 后分数差Base 用时
机器人路径与宏优化14.6339.72+25.0911.42 h
潮汐海床摩擦反演27.4148.15+20.741.12 h
2048 策略优化37.5445.25+7.711.28 h
多视角点云融合21.9348.96+27.03约 12.1 min

来源:论文表 5、附录 C。TerminalHorizon 四例均用满 12 小时;时间不含环境准备与最终验证。表中差值是归一化分数差,不是任务成功率或相对百分比提升。

点云案例:先怀疑“高分”是否测对了东西

Base 用第一视角附近的点构造了一个很高的自定义代理指标,却可能漏掉只在其他视角可见的表面。TerminalHorizon 也遇到过类似诱惑,但进一步检查点来自哪些视角,并用 leave-one-view-out 诊断发现覆盖问题,随后修改对齐、全局优化与置信度筛选策略。

官方隐藏集的原始几何 F-score(按 0–100 展示)为 48.04 → 77.68;另行校准的归一化分数是 21.93 → 48.96。+27.03 指后者的分数差,不能写成几何 F-score 上升了 27.03,或模型研究时直接看到了这个隐藏分数。

机器人案例:中间做得好,最后仍可能交坏

Base 的公开集最佳平均按钮成本曾到 286.05,但后续修改移除了宏压缩,最后提交退化到 466.35。TerminalHorizon 最终为 281.11,保留了已验证的压缩收益。这个例子值得关注的是最终版本管理:长期工作还包括拒绝回归、保存最佳方案和核对交付物。

另两个案例分别展示了用鲁棒损失和更合适的空间表示改进反演,以及在 2048 搜索中修复缓存失控、回退局部集上好看但全量退化的候选。它们帮助解释作者说的“持续工作”是什么。

这些案例能支持到哪一步

它们提供了可追溯的行为证据,但每例每模型只有一次研究运行。相同预算下 Base 提前结束,也是整体策略表现的一部分;然而没有额外控制实际计算量,也没有“强制 Base 用满 12 小时”的对照,不能将全部分数差单独归因于更好的诊断策略或更强的耐心。

09证据边界:还缺哪些实验

最稳妥的结论:这套构造、采集、筛选与 SFT 的整体方案,在作者报告的配置下改善了所测模型与指标。进一步解释“为什么有效”,需要把混合在一起的因素拆开。

去污染做了什么,是否等于彻底排除记忆?

作者将 1,535 个训练任务与 3,251 个评测实例的完整题面比较,使用规范化全文、13/14-token 连续片段、5-gram Jaccard、TF–IDF 和保留数学结构的 8-gram 检索。合并后审查 190 对候选,未发现被判为污染或不确定的任务对。

这支持“在所检查的题面与候选中未发现任务复用”。它不审计基座或教师的全部预训练来源,也不是对任意语义改写都能召回的证明。这里应沿用作者检查的范围,不将其写成零污染保证。

依据:论文 §4.3、附录 G;缺失实验与因果解释范围是本站的阅读判断,不是作者额外报告的负面结果。

10放进环境与训练流水线,先落地什么

下面是基于论文的工程建议,不代表本站已经接入这些数据,或验证了它与某种 RL 算法组合后的收益。

  1. 检查“真正留给求解者的工作”。为任务保留公开要求与独立执行证据,审核关键实现、答案和诊断是否已经存在于初始文件中;发现捷径时先区分真实高效解法与环境提前完成。
  2. 记录完整任务谱系。保存父任务、扩展方向、构造版本、验证器版本和挑战记录。划分训练与验证集时优先按任务家族检查隔离,避免同题轻改版本跨集合。
  3. 把过程质量与最终 reward 分开。SFT 选择可模仿的演示,RL 需要可信的奖励与环境状态;失败但有效的诊断可以帮助前者,不能因此擅自更改后者的成功定义。
  4. 长轨迹接入前先核对格式与截断。检查工具协议、assistant 训练 mask、观察对应关系、摘要与上下文重建。只保留最后成功动作,可能恰好删掉论文希望训练的跨阶段依赖。
  5. 小规模对照后再扩大。固定基座、harness、评测与 token 预算,比较现有数据、TerminalHorizon 数据和混合数据;同时记录成绩、失败类型、生成成本与执行时间。若进一步做 RL,另行验证 reward 可靠性与在线训练稳定性。
← 全部解读