研究提案已修订

面向自进化智能体的率失真感知轨迹数据工程：从跨层压缩信息瓶颈到率失真最优训练数据策展

将率失真理论从推理时记忆压缩扩展至训练时数据工程，统一建模自进化智能体经验-训练管道的跨层信息损失，提出率失真最优轨迹策展方法

2026年7月12日率失真理论训练数据工程自进化智能体信息瓶颈跨层压缩 Agentic RL 轨迹策展评估偏差

背景与动机

自进化智能体（self-evolving agent）通过自身经验持续改进能力，其训练数据源于智能体与环境的交互轨迹。然而，从原始经验到可用训练数据，信息需经过多层压缩管道：轨迹生成→记忆巩固→质量筛选→训练数据组织。每一层都在做”保留什么、丢弃什么”的决策，而当前各层的压缩决策基于局部信号（注意力权重、时间近因性、二元通过/失败），而非端到端的训练效用。

问题一：跨层压缩的信息瓶颈未被统一建模。 arXiv:2607.08032（“What to Keep, What to Forget”）首次将 KV 缓存压缩、prompt 裁剪、架构状态压缩和智能体记忆巩固统一为率失真问题，并揭示了一个普遍失败模式：每一层的保留决策都基于注意力幅度或近因性，且都在查询未知时做出不可逆的丢弃——恰好丢弃了后续查询所需的信息。然而，该工作仅覆盖推理时记忆压缩，未触及训练时数据工程。训练时的”查询”是 RL 更新，其所需信息（如稀疏但关键的决策点、远离结果的失败原因）恰恰是最可能被各层压缩丢弃的内容。

问题二：评估信号的非对称失真导致静默退化。 arXiv:2607.07436（“The Blind Curator”）证明：当裁判（judge）存在 false-pass 偏差时，技能退休机制被静默禁用——且这一失效不体现在任何聚合指标中。这揭示了评估信号失真的非对称性：false-pass（错误放过）比 false-fail（错误拒绝）更具破坏性，因为前者产生正反馈循环（劣质技能留存并持续被强化）。在训练数据管道中，这一非对称性被放大：被错误标记为”好”的轨迹被纳入训练，直接教错行为。

问题三：训练数据质量是范式依赖的。 arXiv:2607.08255（“Compete Then Collaborate”）揭示了一个反直觉发现：同一验证数据在 SFT 范式下导致退化（MBPP 从 76.7% 降至 72.7%），在 RLVR 范式下却带来提升（竞赛题从 5.9% 提升至 8.8%，+49% 相对增益）。这意味着训练数据的”失真”不是数据本身的固有属性，而是数据-范式交互的函数——同一失真在 SFT 中有毒，在 RLVR 中可能无害甚至有益。

核心矛盾： 自进化智能体的训练数据管道本质上是一个多级率失真信道，当前方法在各层独立做压缩决策，缺乏端到端的训练效用优化目标，且未考虑失真的非对称性和范式依赖性。

核心思路

提出 RD-CURATE（Rate-Distortion-aware Curation of Unified Routing and Adaptive Trajectory Engineering）框架，将率失真理论从推理时记忆压缩扩展至训练时数据工程，核心创新点：

1. 训练数据率失真形式化。 将经验→训练数据管道建模为级联率失真信道，定义训练相关失真度量 $D_{\text{train}}$ ：不同于推理时的生成质量失真， $D_{\text{train}}$ 衡量的是压缩后训练数据相对于原始经验在下游 RL 更新中的信息损失。具体地，给定原始轨迹集合 $\mathcal{T}$ 和压缩后训练数据 $\hat{\mathcal{T}}$ ，定义：

$D_{\text{train}}(\mathcal{T}, \hat{\mathcal{T}}) = \mathbb{E}_{\theta \sim \pi_\theta} \left[ \| \nabla_\theta \mathcal{L}(\mathcal{T}) - \nabla_\theta \mathcal{L}(\hat{\mathcal{T}}) \|^2 \right]$

即压缩前后梯度更新的期望偏差。这使得率失真优化直接服务于训练效用。

2. 非对称失真建模。 区分 false-pass 失真 $D_{\text{fp}}$ （劣质数据被纳入训练）和 false-fail 失真 $D_{\text{ff}}$ （优质数据被排除），引入非对称代价权重 $\alpha \gg 1$ 使 $D_{\text{total}} = \alpha \cdot D_{\text{fp}} + D_{\text{ff}}$ ，将 The Blind Curator 的发现形式化：false-pass 的下游危害远大于 false-fail。

3. 范式依赖的率失真函数。 引入范式条件 $P \in \{\text{SFT}, \text{RLVR}\}$ ，定义 $R(D|P)$ ——在给定范式下达到失真 $D$ 所需的最小训练数据率。Compete Then Collaborate 的发现意味着 $R(D|\text{RLVR}) \neq R(D|\text{SFT})$ ：同一数据在两种范式下的”率”和”失真”结构根本不同。

4. 跨层联合优化。 将记忆巩固层、质量筛选层和训练组织层的率分配 $\{R_1, R_2, R_3\}$ 纳入统一优化，而非各层独立决策。关键约束： $\sum_i R_i \leq R_{\text{budget}}$ ，目标是最小化端到端 $D_{\text{train}}$ 。

与现有工作的关键区别：

vs. arXiv:2607.08032：从推理时率失真扩展至训练时率失真，失真度量从生成质量变为梯度保真度
vs. arXiv:2607.07436：从技能退休的裁判偏差分析扩展至整个训练数据管道的非对称失真优化
vs. arXiv:2607.08255：从 SFT-RLVR 范式鸿沟的经验观察提升为范式依赖率失真函数的理论刻画
vs. SAO（arXiv:2607.07508）：从算法层面的单轨迹稳定性扩展至数据层面的率失真最优策展

技术路线

阶段一：跨层压缩信息瓶颈诊断

1.1 管道层率失真画像。 在自进化智能体训练管道中，逐层测量信息率 $R$ 和训练相关失真 $D_{\text{train}}$ ：

记忆巩固层：测量不同记忆压缩策略（KV 缓存驱逐、prompt 裁剪、记忆摘要）下的 $(R, D_{\text{train}})$ 对
质量筛选层：测量不同裁判阈值下的 $(R, D_{\text{train}})$ 对，特别关注 false-pass/false-fail 的非对称分布
训练组织层：测量不同数据混合策略下的 $(R, D_{\text{train}})$ 对

1.2 梯度保真度估计。 开发高效的 $D_{\text{train}}$ 估计器，避免对每个压缩决策都进行完整 RL 训练：

基于梯度的方法：用 Fisher 信息矩阵近似梯度偏差
基于代理的方法：训练一个小型代理模型预测 $D_{\text{train}}$
基于消融的方法：对压缩前后数据分别跑 short-run RL，比较收敛方向

1.3 信息瓶颈定位。 识别管道中信息损失最大的层和失真类型，回答：训练效用的大部分损失发生在哪一层？是记忆巩固丢掉了关键决策步骤，还是质量筛选错误放过了有害轨迹？

阶段二：非对称失真感知数据策展

2.1 非对称代价率失真优化。 给定非对称代价权重 $\alpha$ ，求解：

$\min_{\hat{\mathcal{T}}} \alpha \cdot D_{\text{fp}}(\mathcal{T}, \hat{\mathcal{T}}) + D_{\text{ff}}(\mathcal{T}, \hat{\mathcal{T}}) \quad \text{s.t.} \quad R(\hat{\mathcal{T}}) \leq R_{\text{budget}}$

在 practical 实现中：

false-pass 防御采样：对通过裁判筛选的轨迹进行二次验证（如交叉执行、多裁判投票），以额外计算换取 false-pass 率降低
false-fail 挽回采样：对被裁判拒绝的轨迹进行失败模式分析，将包含罕见失败模式的轨迹标记为”高信息量 false-fail”并选择性保留
非对称门控：在训练数据准入环节设置非对称阈值——通过阈值更严格（降低 false-pass），拒绝阈值更宽松（降低 false-fail）

2.2 范式自适应路由。 基于范式依赖率失真函数 $R(D|P)$ ，对每条轨迹计算其在 SFT 和 RLVR 下的预期失真，路由至最优范式：

$P^*(t) = \arg\min_{P \in \{\text{SFT}, \text{RLVR}\}} D_{\text{train}}(t | P)$

实现启发式规则：

高确定性正确轨迹 → SFT 安全（Compete Then Collaborate 显示 SFT 在标准题上不退化）
低确定性/竞赛级轨迹 → RLVR 专属（SFT 退化但 RLVR 提升）
包含罕见失败模式的轨迹 → RLVR 高价值（失败经验在 RLVR 中提供负向信号）

阶段三：跨层率分配联合优化

3.1 端到端率分配。 给定总预算 $R_{\text{budget}}$ ，联合优化各层率分配 $\{R_1, R_2, R_3\}$ ：

$\min_{R_1, R_2, R_3} D_{\text{train}}^{\text{e2e}}(R_1, R_2, R_3) \quad \text{s.t.} \quad \sum_i R_i \leq R_{\text{budget}}$

采用交替优化：固定两层，优化第三层，迭代至收敛。

3.2 率-能力共进化。 随着智能体能力提升，最优率分配动态变化：

早期阶段：智能体能力低，需要更多高质量 SFT 数据 → 筛选层分配更高率
中期阶段：智能体进入 RLVR 自改进 → 训练组织层分配更高率
后期阶段：智能体能力接近前沿 → 记忆巩固层需要保留更精细的失败模式

建立率分配策略与智能体能力水平的共进化闭环。

关键技术挑战

$D_{\text{train}}$ 的高效估计：完整 RL 训练计算量巨大，需要开发基于 Fisher 信息或代理模型的高效估计器，目标是将估计开销控制在完整训练的 5% 以内
非对称失真的校准： $\alpha$ 的设定需要领域知识，可通过 The Blind Curator 的 defect-injection audit 方法自动标定
范式依赖率失真函数的实证刻画：需要在多个基准（代码生成、数学推理、web 代理）上系统性测量 $R(D|\text{SFT})$ 和 $R(D|\text{RLVR})$ 的差异
跨层优化的可扩展性：端到端率分配的搜索空间随管道深度指数增长，需要开发层级化近似方法

预期成果

定量目标

跨层信息瓶颈诊断：在 SWE-Bench Verified 和 GAIA 基准上，量化记忆巩固层、质量筛选层、训练组织层各自的 $D_{\text{train}}$ 贡献比例，定位信息瓶颈所在层
非对称失真优化：相比对称代价基线，在 false-pass 率上降低 ≥30%，同时在端到端训练效果上提升 ≥5%（以 SWE-Bench Verified 通过率衡量）
范式自适应路由：相比固定范式基线（纯 SFT 或纯 RLVR），在竞赛级代码生成任务上实现 ≥10% 的额外提升
端到端率分配：相比各层独立优化，在相同计算预算下端到端训练效果提升 ≥8%

定性目标

建立自进化智能体训练数据的率失真理论框架，为数据工程提供信息论基础
揭示跨层压缩中训练效用损失的普遍模式（类比”What to Keep, What to Forget”对推理时记忆的发现）
为 The Blind Curator 的裁判偏差问题提供率失真最优的系统性解决方案
为 Compete Then Collaborate 的 SFT-RLVR 范式鸿沟提供理论解释（范式依赖率失真函数）

可能的影响

理论层面：首次将率失真理论从推理时扩展至训练时，建立训练数据质量的信息论基础
实践层面：为 SAO 等单轨迹异步 RL 方法提供数据层面的理论指导——在”率”极低（单轨迹）时如何优化”失真”
工程层面：为自进化智能体训练管道提供可操作的率分配策略，替代当前各层独立调参的经验做法