研究提案已修订

面向RLVR训练的正确集流转感知训练数据工程：从获取-回归耦合到流转驱动的动态数据策展

将RLVR训练中的正确集流转动力学建模为一等训练数据质量信号，通过流转模式诊断、修复窗口感知策展和流转-能力共进化闭环，系统性解决获取-保持权衡问题

2026年6月9日 RLVR 正确集流转灾难性遗忘训练数据工程修复窗口推理鲁棒性获取-保持权衡自进化训练

背景与动机

RLVR（Reinforcement Learning from Verifiable Rewards）已成为提升大语言模型推理能力的主导范式，但近期研究揭示了一个被忽视的隐性代价：正确集流转（Correct-Set Turnover）——随着训练推进，先前已掌握的问题悄然变为不可解[1]。这一现象的本质是获取（acquisition）与保持（retention）之间的结构性权衡：模型在学习新问题的同时，对已掌握问题的求解能力在悄然退化。

现有方案存在三重不足：

诊断粒度不足：当前对遗忘的监控停留在问题级正确率，未能深入到推理模式级——哪些推理能力的退化导致了回归？是特定推理策略的丧失，还是验证判断的松动？REMIND[1]的修复窗口原则揭示了回归修复的时间敏感性，但未回答”修复什么”这一更根本的问题。
策展策略被动：现有应对方案（如经验回放、review机制）本质上是被动的——等待回归发生后才介入。然而，正确集流转并非随机过程：共享推理模式的问题倾向于同时回归[1,2]，这暗示着流转具有可预测的结构。被动策展错过了预防性干预的机会窗口。
数据时序盲区：标准RLVR训练流水线将训练数据视为静态集合或均匀采样的流，忽视了数据点的时序价值——同一问题在不同训练阶段具有截然不同的学习价值。修复窗口原则[1]表明，回归后的修复成本随延迟指数增长，这意味着数据时序编排是关键的质量杠杆。

更深层的问题在于：近期研究[2]发现正确rollout在锚点token处自然收敛（余弦相似度~0.84），而正确集流转意味着这种收敛结构在训练过程中被系统性破坏；因果分析[3]表明RLVR奖励中自我一致性激发（elicitation）占据主导地位（弱先验下占比高达0.98），而非真正的奖励设计信号——这意味着流转可能源于自我一致性模式的崩塌而非能力丧失。这些发现共同指向一个核心数据工程问题：如何在训练数据层面主动维护推理能力的收敛结构，而非被动应对其崩塌？

核心思路

提出TURNOVER-AWARE框架，将正确集流转动力学建模为一等训练数据质量信号，从被动回归修复转向主动流转预防。核心思想是：流转模式是模型能力脆弱性的诊断信号，而非仅是需要修复的故障——通过解析流转的推理模式结构，可以精确定位能力薄弱环节，并通过定向数据工程在回归发生前进行预防性加固。

与现有工作的关键区别：

vs. REMIND[1]：REMIND在算法层面通过review机制被动应对回归；TURNOVER-AWARE在数据层面主动预防回归，将流转模式从需要修复的故障升级为驱动数据策展的质量信号
vs. 经验回放：经验回放均匀重放旧样本，不区分哪些问题更脆弱、何时重放最有效；TURNOVER-AWARE基于流转模式诊断进行精准的时序感知策展
vs. 持续学习方法：传统持续学习关注参数级遗忘（如EWC、SI），而TURNOVER-AWARE关注问题级能力退化，并将退化模式作为训练数据质量的先验信号

技术路线

阶段一：流转模式诊断（Turnover Pattern Diagnosis）

1.1 推理模式级流转分解

标准正确集追踪仅在问题级记录正确→错误/错误→正确的状态转换。我们提出将流转分解至推理模式级：

定义推理模式向量 $r_p$ ：对每个问题 $p$ ，从正确rollout中提取锚点token处的隐藏状态[2]，通过PCA降维至推理模式空间
计算流转模式共现矩阵 $C_{ij} = \text{Corr}(\Delta p_i, \Delta p_j)$ ，其中 $\Delta p_i$ 表示问题 $i$ 的正确性变化序列
对共现矩阵进行谱聚类，识别同步回归簇（synchronous regression clusters）——共享推理模式且同时回归的问题群

1.2 流转脆弱性画像

对每个同步回归簇，构建脆弱性画像：

收敛退化度：度量簇内问题在锚点token处的隐藏状态收敛度随训练步的变化，量化收敛结构的崩塌程度
自我一致性漂移：基于[3]的因果分解框架，追踪簇内问题的自我一致性激发比例变化，判断回归是否源于一致性崩塌
推理流形维度变化：基于[5]的低维流形理论，度量簇内问题推理流形维度的变化，维度膨胀暗示推理路径多样化退化

1.3 修复窗口预测

将REMIND的修复窗口原则从事后分析扩展至事前预测：

对每个同步回归簇，建模修复成本 $c(t) = c_0 \cdot e^{\alpha(t-t_0)}$ 与训练步的关系
通过历史流转数据拟合 $\alpha$ ，预测即将进入高成本修复区域的问题簇
建立流转预警信号：当某推理模式的收敛退化度超过阈值且修复成本仍在窗口内时，触发预防性策展

阶段二：流转驱动数据策展（Turnover-Driven Data Curation）

2.1 修复窗口感知回顾采样（Repair-Window-Aware Review Sampling）

不同于均匀回放或简单review：

优先级调度：基于流转脆弱性画像，对处于修复窗口内且脆弱性最高的问题簇赋予最高回顾优先级
回顾剂量校准：回归修复所需的数据量与回归深度正相关——浅回归仅需少量回顾样本，深回归需要更密集的回顾
零额外开销设计：借鉴REMIND的pre-rollout batch替换策略，将回顾样本嵌入现有训练批次而非增加额外rollout

2.2 脆弱推理模式对抗合成（Fragile Pattern Adversarial Synthesis）

被动回顾只能维持已有能力，无法加固脆弱推理模式。提出对抗性合成：

模式边界探测：对每个脆弱推理模式簇，沿推理模式空间中的决策边界生成对抗性问题——这些问题需要相同推理模式但处于模型能力边界
多样性保持合成：基于HDPO[4]的提示引导思想，对每个对抗性问题生成多条推理路径提示，确保合成数据不仅强化单一推理路径
收敛结构注入：基于Hidden-Align[2]的发现，在合成数据中显式注入锚点token处的收敛约束，使合成数据的推理过程具有更强的收敛结构

2.3 流转-能力感知数据混合（Turnover-Capability-Aware Data Mixing）

获取-保持均衡采样：基于当前流转速率动态调整新问题与回顾/合成问题的比例——高流转率时增加保持数据比例，低流转率时侧重获取
推理模式平衡约束：确保每个训练批次覆盖多个推理模式簇，避免单一模式的密集训练导致其他模式退化
时序课程编排：将修复窗口约束融入训练课程——在修复窗口关闭前优先处理即将过期的脆弱簇

阶段三：流转-能力共进化闭环（Turnover-Capability Co-Evolution Loop）

3.1 闭环结构

[流转诊断] → [脆弱性画像] → [修复窗口预测] → [策展决策] → [训练] → [流转监测] → ...

每个训练周期后：

在验证集上追踪正确集变化，更新流转模式共现矩阵
重新评估各簇的脆弱性和修复窗口状态
调整下一周期的数据策展策略

3.2 流转率自适应调节

定义流转率 $\tau(t) = \frac{|\text{regressed at } t|}{|\text{correct at } t-1|}$ ，建立目标流转率 $\tau^*$ ：

当 $\tau > \tau^*$ ：增加保持数据比例、缩小回顾间隔
当 $\tau < \tau^*$ ：增加新问题比例、扩大探索范围
通过PID控制器实现流转率的稳定调节

3.3 终止条件

当流转率持续低于 $\tau^*$ 且各推理模式的收敛结构稳定时，训练可以安全终止——这比标准RLVR的固定步数终止提供了更有原则的停止准则。

关键技术挑战

推理模式提取的可扩展性：在每个训练步提取所有问题的隐藏状态成本高昂，需开发轻量级近似方法（如周期性采样+插值）
流转共现的统计显著性：小规模问题集上的共现可能由随机波动导致，需建立统计检验框架区分系统性流转与随机波动
对抗合成的语义保真：沿推理模式边界合成的问题需保持语义合理性和可验证性，这是合成数据质量的关键约束
获取-保持权衡的理论建模：当前对流转动力学的理解主要是经验性的，需要发展形式化理论预测最优获取-保持数据比例

预期成果

定量目标

流转率降低：在数学推理基准（MATH、AMC、AIME）上，将正确集流转率从标准GRPO/DAPO的基线水平降低50%以上
净准确率提升：在保持获取率不降低的前提下，通过减少回归提升净准确率3-5个百分点
修复效率：对已回归问题的修复效率提升2倍以上（基于修复窗口感知调度）
跨域泛化：在跨模态（文本、图文、视频）任务上验证流转率降低的泛化性，参照REMIND[1]的多模态评估设置

定性目标

建立RLVR训练中正确集流转的形式化分析框架，将流转从经验观察提升为可预测、可控的动力学对象
揭示流转的推理模式结构——哪些推理能力更脆弱、为何脆弱、如何预防性加固
发展”数据时序价值”的概念——同一数据点在不同训练阶段具有不同的学习价值，修复窗口定义了价值的时序边界

可能的影响

RLVR训练范式升级：从”训练-评估”两阶段走向”训练-监测-策展”三阶段闭环，将数据策展从静态预处理提升为动态在线优化
持续学习新视角：将持续学习的遗忘问题从参数级分析扩展至推理模式级分析，为LLM后训练中的灾难性遗忘提供更精细的诊断工具
训练效率提升：通过预防性策展减少无效训练步（解决后又遗忘的训练是纯粹浪费），在相同计算预算下实现更高的有效学习率

局限性与开放问题

方法论局限

流转共现的因果方向性：阶段一通过共现矩阵 $C_{ij}$ 识别同步回归簇，但共现仅表明关联而非因果——问题 $i$ 和 $j$ 同时回归可能源于共享推理模式，也可能源于训练数据的某种系统性偏差（如批次内数据分布偏移）。当前框架未建立从共现到因果的严格推断路径，需引入干预实验（如定向移除某簇问题后的回归变化）来验证因果性。
修复成本函数的参数化假设：修复成本 $c(t) = c_0 \cdot e^{\alpha(t-t_0)}$ 假设了指数增长形式，但REMIND[1]的实证数据主要验证了修复窗口的存在性，对其精确函数形式的支持有限。实际修复成本可能呈现S形或阶梯形增长（取决于推理模式的重叠程度），错误的参数化可能导致预警信号过早或过晚触发。
PID 控制器的理论保障：流转率 $\tau(t)$ 的PID调节在经典控制论中已有充分理论，但RLVR训练是非平稳动态系统——模型参数在持续变化，导致被控对象的传递函数也在变化。标准PID设计假设被控对象平稳或缓慢时变，对RLVR的快速非平稳特性缺乏适应性保证。
对抗合成的验证闭环：阶段二中对抗性合成问题的质量依赖”语义保真”约束，但在RLVR设定下，合成问题的验证本身就需要一个可靠的verifier。对于数学推理，形式验证器可提供部分保障；但对于开放域推理，验证闭环可能引入新的系统性偏差。

开放问题

流转模式与缩放律的交互：不同参数规模模型的流转率是否存在系统性差异？若大模型天然具有更低的流转率，则TURNOVER-AWARE框架的边际收益可能随规模递减，需研究框架的缩放效率。
多模态流转的统一建模：REMIND[1]在视觉-语言任务上验证了review机制的有效性，但多模态推理的流转模式是否具有与纯文本不同的结构？视觉推理的”正确收敛”模式可能涉及跨模态对齐而非单一锚点token，这对流转诊断提出了新的表征提取要求。
与课程学习的理论联系：修复窗口感知的课程编排与经典课程学习有形式相似性，但优化目标不同——课程学习优化学习效率，修复窗口课程优化保持效率。两者是否可统一在同一个数据时序价值框架下，值得进一步探索。

结论

本文提出TURNOVER-AWARE框架，将RLVR训练中的正确集流转动力学建模为一等训练数据质量信号。通过三阶段设计——流转模式诊断、流转驱动数据策展和流转-能力共进化闭环——将传统的被动回归修复范式转变为主动流转预防范式。核心贡献在于：将流转从需要修复的故障重新定义为驱动数据策展的诊断信号，从而在数据工程层面实现获取-保持权衡的主动管理。尽管在流转共现的因果推断、修复成本参数化和非平稳PID控制等方面存在开放问题，该框架为RLVR训练数据质量的在线优化提供了新的研究视角和可操作的技术路径。