研究提案已修订

面向智能体长程能力的轨迹地平线主动感知训练数据工程：从短片段偏差到地平线校准的数据策展

将训练轨迹的地平线结构（长度分布、复杂度梯度、失败-恢复模式覆盖）建模为一等训练数据质量信号，通过地平线前沿诊断→主动地平线合成→地平线-能力共进化闭环，系统性解决智能体训练数据中的短片段偏差与地平线覆盖空白

2026年7月2日轨迹地平线智能体训练数据长程能力主动数据工程地平线校准 RLVR 自进化智能体 Agents-A1

背景与动机

近期上海人工智能实验室 InternScience 团队发布的 Agents-A1（arXiv:2606.30616，2026-06-29）以 35B MoE 参数匹配万亿参数模型（Kimi-K2.6、DeepSeek-V4-pro）的长程智能体性能，其核心洞察是：训练轨迹的”地平线”（horizon）——即轨迹的长度与动作序列多样性——是决定智能体长程能力的关键数据维度，而非参数规模。Agents-A1 构建了”知识-动作基础设施”，将长程智能体能力分解为五种”原子能力”（信息获取、工具调用、可执行迭代、证据验证、约束跟踪），连接外部知识、动作、观察和验证器反馈，生成平均 45K token 的长程轨迹，使模型习得了跨数十步维持目标与上下文的完整问题解决能力。其训练采用三阶段配方：① 全领域 SFT 对齐基础行为 → ② 领域级教师模型捕获专业能力 → ③ 多教师领域路由 on-policy 蒸馏 (OPD) + 显著词汇对齐 (salient vocabulary alignment)，将六个异构领域的能力统一到一个学生模型。在长视野基准上的完整表现为：SEAL-0 56.4、IFBench 80.6、HiPhO 46.4、FrontierScience-Olympiad 79.0、MolBench-Bind 56.8（均超越或持平 1T 参数基线）；SciCode 44.3、HLE 47.6、BrowseComp 75.5（保持强竞争力）。原生 256K 上下文，Apache 2.0 协议开源。

然而，当前智能体训练数据工程存在三个根本性缺陷：

短片段偏差（Short-Horizon Bias）：绝大多数训练数据由短片段构成（1-10 步），即使目标任务需要 50+ 步的持续执行。这种偏差并非偶然——现有数据合成方法（如 Evol-Instruct、Self-Instruct）本质上偏好生成短小精悍的交互片段，因为短轨迹生成成本低、验证简单。但短片段训练的模型在长程任务上系统性失败：上下文漂移、目标遗忘、错误累积。

地平线盲区（Horizon Blindness）：现有数据质量信号（难度、多样性、正确性）均在任务级或轨迹级定义，完全忽略了地平线维度。一个任务在 5 步内”简单”但在 50 步内”困难”，但当前数据策展管线无法捕捉这一差异。Active-GRPO（arXiv:2607.00531，Xuefeng Liu 等 6 作者，斯坦福医学院 + 芝加哥大学 + 阿贡国家实验室，2026-07-01）引入了步骤级的主动推理决策（模仿 vs 自我改进），在 TOMG-Bench MOLOPT 上以三种子评估将平均 SRxSim 从 GRPO 的 0.0959、RePO 的 0.1665 提升至 0.1773，在 LogP/MR/QED 上统计显著；其决策粒度仅在步骤级，未延伸至跨轨迹的地平线维度。

地平线坍缩（Horizon Collapse）：Rethinking Continual Experience Internalization（arXiv:2606.04703，Jingwen Chen/Wenkai Yang 等 10 作者，中国人民大学高瓴 + 北航 + 美团，2026-06-03）揭示自进化智能体在迭代内化经验时发生能力坍缩，在 Qwen3-4B-Instruct-2507 + Qwen3-8B 上的 WebWalkerQA/GAIA-Text-103/BrowseComp-ZH 验证。我们观察到这一坍缩在轨迹地平线维度尤为严重：智能体在短任务上的成功使其自生成训练数据趋向更短，形成正反馈循环——“越擅长短任务，越只训练短轨迹，越丧失长程能力”。这是正确集流转（arXiv:2606.03087，Chuanyu Qin/Chenxu Yang 等 6 作者，中科院信工所 + 国科大 + 京东，2026-06-02；提出 ReMind 机制通过预回放批次替换零额外回放开销）在地平线维度的特化表现。

核心思路

提出 HORIZON-ACTIVE 框架，将训练轨迹的地平线结构（长度分布、复杂度梯度、失败-恢复模式覆盖）建模为一等训练数据质量信号。核心主张：轨迹地平线不是任务设计的被动副产品，而是需要主动校准的数据质量维度。

与现有工作的关键区别：

vs Agents-A1：Agents-A1 使用固定基础设施和领域教师模型生成长轨迹，地平线结构是手动设计的。HORIZON-ACTIVE 将地平线结构建模为可自动校准的数据质量信号，无需领域教师模型，通过地平线前沿诊断主动确定最优地平线结构。
vs Active-GRPO：Active-GRPO 的主动决策在步骤级（模仿 vs 自我改进），HORIZON-ACTIVE 将主动决策扩展至地平线级——对每个训练实例主动确定最优轨迹长度，基于智能体当前地平线能力前沿进行实例级决策。
vs Rethinking Continual Experience Internalization：该工作揭示了自进化中的能力坍缩，但未从数据工程角度提出解决方案。HORIZON-ACTIVE 从训练数据的地平线结构入手，通过地平线-能力共进化闭环主动预防地平线坍缩。
vs JERP（arXiv:2606.27136，Shicheng Ye、Chao Yu，2026-06-25）：JERP 联合学习经验规则与策略，在 AlfWorld + WebShop 上从同一次交互轨迹同时驱动规则池修订和策略参数更新，但规则是步骤级的。HORIZON-ACTIVE 将”地平线结构”作为一类特殊的经验规则——跨多步的持续性策略——进行显式建模与联合学习。

技术路线

第一阶段：地平线前沿诊断

地平线能力曲线（Horizon Capability Curve, HCC）构建：对智能体在不同轨迹长度 $h$ 下的成功率进行系统评估，构建 HCC： $C(h) = \text{SuccessRate}(h)$ 。HCC 的关键特征包括：

地平线前沿 $h^*$ ： $C(h)$ 降至阈值 $\tau$ 以下的最小 $h$ ，即智能体当前可稳定处理的最大轨迹长度
地平线衰减率 $\alpha$ ： $C(h)$ 在 $h > h^*$ 后的衰减速度，反映长程退化程度
地平线恢复力 $\rho$ ：在轨迹中注入错误后智能体恢复目标的能力随 $h$ 的变化

短片段偏差度量（Short-Horizon Bias Score, SHBS）：定义训练数据集 $\mathcal{D}$ 的地平线分布 $P_\mathcal{D}(h)$ 与目标任务地平线需求分布 $P_T(h)$ 之间的 Wasserstein 距离：

$\text{SHBS}(\mathcal{D}, T) = W_1(P_\mathcal{D}(h), P_T(h))$

高 SHBS 意味着训练数据的地平线结构与目标需求严重不匹配。

地平线坍缩检测（Horizon Collapse Detection）：在自进化迭代 $t$ 中监控 $h^*_t$ 的变化。若 $h^*_{t+1} < h^*_t$ （地平线前沿回退），触发坍缩预警并启动地平线修复机制。

第二阶段：主动地平线合成

实例级地平线决策（Instance-Level Horizon Decision）：对每个训练实例 $x$ ，基于智能体当前 HCC 主动确定最优轨迹长度 $\hat{h}(x)$ ：

$\hat{h}(x) = \arg\max_h \left[ \mathbb{E}_{\text{traj} \sim \pi_\theta(\cdot|x,h)} [R(\text{traj})] \cdot \mathbb{I}[h \in [h^* - \delta, h^* + \Delta]] \right]$

其中 $h^* - \delta$ 确保不退化为过短轨迹， $h^* + \Delta$ 确保适当超越当前前沿以扩展能力边界。这是将 Active-GRPO 的”主动模仿 vs 自我改进”决策在地平线维度的推广：当 $h \leq h^*$ 时执行自我改进（模型已有能力处理），当 $h > h^*$ 时执行模仿学习（需要外部参考）。

地平线结构化数据合成：

近前沿延长合成（Near-Frontier Extension）：取智能体在 $h = h^*$ 处的成功轨迹，将其向后延长 $\Delta$ 步。延长部分由”目标维持提示”引导，确保延长不偏离原始目标。
失败-恢复模式注入（Failure-Recovery Pattern Injection）：在轨迹的随机步骤 $s \in [1, h]$ 注入受控失败（错误工具调用、异常观察），然后合成恢复路径。恢复路径由可验证的环境反馈引导，确保恢复策略的物理可行性。这是 Agents-A1 长轨迹中”碰壁调整”过程的系统性版本。
地平线梯度课程（Horizon Gradient Curriculum）：按地平线长度构建训练课程，从 $h = h^* - \delta$ 开始，逐步增加至 $h = h^* + \Delta$ ，每阶段确保成功率超过阈值后才推进。

地平线效率优化：长轨迹生成和训练成本高昂。引入关键段采样（Critical Segment Sampling）——从长轨迹中识别对地平线维持最关键的步骤段（基于步骤级注意力熵和因果贡献评分），在训练时对这些关键段进行过采样，降低长轨迹训练的计算开销。

第三阶段：地平线-能力共进化闭环

地平线前沿追踪（Horizon Frontier Tracking）：每个共进化迭代中重新评估 HCC，更新 $h^*$ 。当 $h^*$ 增长时，主动提升合成轨迹的目标地平线；当检测到地平线坍缩时，回退至安全地平线并注入修复数据。

地平线-规则联合学习：借鉴 JERP 的经验规则-策略联合学习范式，将地平线维持策略（如”每 N 步复述目标”、“检测上下文漂移并纠正”）显式提取为可检索的地平线规则，与策略参数联合更新。地平线规则在短轨迹中无用但在长轨迹中至关重要，因此仅在 $h > h_{\text{threshold}}$ 时激活检索。

跨领域地平线迁移（Cross-Domain Horizon Transfer）：Agents-A1 的领域教师蒸馏表明不同领域有不同的地平线特性。HORIZON-ACTIVE 通过地平线能力图谱（Horizon Capability Map）刻画智能体在各领域-地平线组合上的能力矩阵，利用图谱结构实现跨领域地平线知识迁移（如：代码调试中的长程错误追踪策略迁移至科学发现中的长程假设验证）。

关键技术挑战

长轨迹验证：45K token 轨迹的端到端验证极其昂贵。需设计分段验证+全局一致性检查的分层验证方案。
地平线-效率权衡：长轨迹训练的计算成本与能力增益的非线性关系需精确建模，避免投入过多算力在边际收益递减的超长轨迹上。
失败-恢复模式的真实性：合成失败模式可能无法覆盖真实长程执行中的失败分布，需通过环境交互持续校准失败模式库。
地平线前沿的非平稳性：在 RLVR 训练中， $h^*$ 可能因其他能力维度的变化而波动，需设计鲁棒的前沿追踪算法。

预期成果

定量目标：

在标准长程智能体基准（SWE-bench Verified、Terminal-Bench 2.0、GAIA Level 3）上，使用 HORIZON-ACTIVE 训练的 7B-14B 模型在地平线 > 20 步的任务上相比 GRPO 基线提升 15-25% 成功率。
SHBS 度量降低 60% 以上，即训练数据地平线分布与目标需求分布显著对齐。
在 5 轮自进化迭代中，地平线前沿 $h^*$ 单调递增（无坍缩），相比基线方法（预计 $h^*$ 在第 3 轮开始回退）。
长轨迹训练的计算开销通过关键段采样降低 40%，同时保留 90% 以上的地平线能力增益。

定性目标：

建立”地平线结构”作为训练数据质量信号的评估范式，补全现有数据质量框架（难度、多样性、正确性）中缺失的地平线维度。
揭示短片段偏差→地平线坍缩的因果链条，为自进化智能体的训练稳定性提供地平线维度的理论保障。
提供”主动地平线决策”的开源实现，使研究社区能够复现和扩展地平线感知的训练数据工程。

可能的影响：

本工作将轨迹地平线从训练数据的被动属性提升为主动工程对象，为 Agents-A1 揭示的”地平线缩放”范式提供系统性数据工程方法论。若地平线-能力共进化闭环被验证有效，将直接推动小模型长程智能体能力的持续提升，改变当前依赖参数规模扩展的范式，对资源受限场景下的智能体部署具有实际意义。