研究提案已修订

面向多任务RLVR的支持集重塑感知训练数据工程：从跨任务支持退化诊断到路由锚定的数据策展

基于 Verifier-Induced Support Reshaping 揭示的跨任务支持退化机制，将有效可奖励支持集建模为一等训练数据质量信号，通过路由-支持画像诊断与路由锚定策展系统性消除多任务RLVR训练中的隐性支持侵蚀

2026年8月18日 RLVR 支持集重塑多任务训练数据工程验证器诱导退化路由锚定大模型后训练

背景与动机

当前领域面临的核心问题

北京大学与北京邮电大学联合团队在 arXiv:2608.00220 中揭示了一个根本性现象：验证器诱导的支持集重塑（Verifier-Induced Support Reshaping）。在 on-policy RLVR 训练中，优化一个任务的验证奖励可以同时摧毁另一个任务的有效可奖励支持集。

具体而言：

Math-RLVR 提升平均指令遵循率但摧毁指令可搜索支持：在 Qwen3-8B-Base 上，IFEval 的 pass@1 提升 6.5 个百分点，但 best@32 下降 9.8 个百分点。提示从”偶尔答对”的混合区同时流向全对与全错——平均分提高的背后是支持集的两极化。
IF-RLVR 改变数学响应的首 token 路由：指令遵循训练将数学回答从逐步推理入口（DRI）推向直接作答入口（DAI），导致 AIME best@k 持续下降。论文 Figure 3 报告 DAI 占比与 AIME best@32 的 Pearson 相关系数 r = −0.85（等价地，DRI 占比为正相关 +0.85）。
因果机制定位至首生成 token：教师强制分析显示，基础模型与 RLVR 模型的 Jensen-Shannon 散度在首个生成 token 达到峰值（高 9.8—106.7 倍）。因果干预实验证实：强制基础模型侧的首 token 后 AIME best@32 回升 13.3—58.6%。

为什么现有方案不够好

该论文测试了三种缓解方案，均只能部分奏效：

参考 KL 约束：较弱的 KL 只能延缓退化，β=0.12 大致保留数学但获得最小指令增益——不存在同时保持两个方向增益的系数。
路由先验 SFT：强 DRI 先验在第 70 步前有效，但到第 100 步 DAI 比例仍达到 1——持续验证器更新最终覆盖先验。
在线策略蒸馏（OPD）：教师 checkpoint 选择是关键。适合目标任务的教师不一定保留跨任务支持；第 40 步教师带来最高 IFEval 分数但只有第 20 步教师让 MATH-500 微升 0.93 个百分点。

更深层的问题是：现有训练数据工程完全不考虑跨任务有效支持集的变化。数据策展仅关注当前任务的通过率/奖励信号，从未建模一条训练数据对其他任务可搜索支持集的影响。这意味着每一次 RLVR 训练更新都可能在不被发现的情况下侵蚀未来训练的基础。

核心思路

提出的方法：SUPPORT-GUARD 框架

将有效可奖励支持集（Effective Rewardable Support）从 RLVR 训练的被动观测指标重构为一等训练数据质量信号，通过路由-支持画像诊断和路由锚定策展，实现多任务 RLVR 训练中的跨任务支持完整性保障。

核心定义：

有效可奖励支持集：在固定 rollout 预算 k 内，至少产生一次成功响应的提示集合。区别于理论支持集（概率不为零即属于），有效支持集直接决定后续训练能否采样到正奖励信号。
支持侵蚀率（SER）：训练步 t 对比 t−1，跨任务有效支持集的缩减比例。SER > 0 表示当前训练正在隐性摧毁其他任务的可学习性。
路由-支持因果链：首 token 选择 → 响应路线（DRI/DAI/Other）→ 跨任务可搜索性。这是支持重塑的核心因果路径。

与现有工作的关键区别

vs. 正则化方法（KL/OPD）：现有方法在算法层面约束策略偏移，但不区分”有益的能力提升偏移”与”有害的支持侵蚀偏移”。SUPPORT-GUARD 在数据层面识别并靶向消除后者，保留前者。
vs. 多任务联合训练：联合训练平均多个验证器信号但不监控支持集变化，可能两个方向都在缓慢侵蚀对方的支持。SUPPORT-GUARD 将支持完整性作为显式约束。
vs. 持续学习方法：EWC/SI 等方法基于参数重要性防止遗忘，但支持重塑不是遗忘——模型仍具备能力，只是响应路线偏移使得有限预算下采不到成功轨迹。SUPPORT-GUARD 诊断的是可搜索性而非参数空间。

技术路线

阶段 1：路由-支持画像诊断

目标：建立训练数据对跨任务有效支持集影响的实时诊断能力。

有效支持集追踪：每 N 步训练，对每个目标任务进行 k-shot 采样（k=32），统计 best@k 和混合/全对/全错提示比例变化。
路由入口因果归因：识别导致支持侵蚀的”关键路由 token”——那些在 RLVR 训练后被提升但因果地将响应推离目标任务的 token。
支持侵蚀率（SER）画像：对每条训练数据计算其对跨任务有效支持的边际影响（通过 leave-one-out 估计或梯度近似），构建 SER 空间画像。
路由-侵蚀耦合度量：量化路由选择（首 token 分布变化）与支持侵蚀之间的因果强度，区分”路由驱动的侵蚀”与”非路由驱动的侵蚀”（如中间推理步骤退化）。

阶段 2：路由锚定数据策展

目标：在保障当前任务训练效率的同时，维护跨任务有效支持的完整性。

支持门控采样：对候选训练数据，计算 SER 估计值。高 SER 数据被降权或替换为低 SER 的等效数据（相同奖励信号但不侵蚀跨任务支持）。
路由锚定增强合成：针对被识别为支持侵蚀关键路径的路由 token，合成”锚定轨迹”——保持目标任务的正确推理路线入口不变，同时满足当前任务的验证器约束。例如，对 Math-RLVR 训练，合成以 DRI 入口开头但满足数学验证器的轨迹。
多路由均衡批次构建：在每个训练批次中，确保不同响应路线入口（DRI/DAI/Other）的比例不低于阈值，防止任何单一入口垄断概率质量。
支持感知数据混合：多任务 RLVR 的数据混合比例由各任务当前有效支持集大小动态决定——支持已缩小的任务获得更多训练数据以恢复可搜索性。

阶段 3：支持-能力共进化闭环

目标：建立训练过程中支持完整性与任务能力的联合优化闭环。

双指标训练监控：同时追踪 pass@1（当前能力）和 best@k（可学习性），当 pass@1 上升但 best@k 下降时触发支持侵蚀告警。
路由-支持自适应课程：根据各任务的有效支持变化率调整训练优先级——支持正在缩小的任务优先获得路由锚定数据。
支持恢复回路：当某任务 best@k 低于阈值时，暂停当前验证器训练，切换至该任务的”支持恢复模式”——使用锚定轨迹 SFT 恢复路由入口多样性，然后恢复 RLVR。
跨任务支持预算：为每轮训练设定跨任务支持预算，确保 SER 总量不超过阈值，将支持侵蚀从被动观测转为主动约束。

关键技术挑战

SER 的精确估计：leave-one-out 估计计算成本高，需要开发基于梯度的近似方法。可利用首 token 分布的 JSD 变化作为 SER 的低代价代理。
路由锚定轨迹的合成质量：合成轨迹需要同时满足当前验证器和保留目标路由入口，可能存在约束冲突。需要探索约束优先级机制。
支持恢复与能力保持的权衡：支持恢复模式可能暂时降低当前任务 pass@1，需要找到最优切换时机和恢复步数。
多任务扩展性：从 2 任务（Math/IF）扩展至 N 任务时，SER 计算和路由锚定策略的复杂度需要控制。

预期成果

定量目标

跨任务支持保持：在 Math→IF 和 IF→Math 顺序训练中，将 best@32 下降幅度从当前的 9.8 个百分点降低至 ≤3 个百分点。
联合支持提升：在 MathIF 联合指标上，将当前”边际增益不自动转化为联合增益”的瓶颈突破——目标使正确且满足约束的联合支持从 0.118 提升至 ≥0.20（Qwen3-8B-Base 上）。
训练效率保持：SER 监控和路由锚定带来的额外计算开销不超过总训练成本的 15%。
多任务泛化：在 3+ 任务的 RLVR 训练场景（如 Math + IF + Code）中验证框架的可扩展性。

定性目标

建立多任务 RLVR 训练中”有效支持集”作为一等数据质量指标的理论框架。
开发开源工具包，支持任何 RLVR 训练流程的 best@k 监控和 SER 诊断。
揭示路由-支持因果链在不同模型架构和任务组合中的通用性。

可能的影响

改变 RLVR 训练监控范式：从仅关注 pass@1 转为同时监控 pass@1 + best@k + SER，防止”看似进步实则在摧毁未来可学习性”的训练更新。
解锁真正的多任务 RLVR：当前多任务 RLVR 受限于跨任务干扰，SUPPORT-GUARD 为系统性消除干扰提供了数据工程路径。
影响后训练流程设计：多阶段 RLVR（如先数学后指令）的顺序决策需要考虑支持重塑效应，SUPPORT-GUARD 提供了量化决策依据。

局限性与失效模式

SER 的可估计性没有保证。 阶段一设想用 leave-one-out 或梯度近似估计单条数据对跨任务支持的边际影响。问题是：有效支持集本身是采样估计量（k=32 下的 best@k），其方差远大于单条数据的边际效应。除非把 k 提到极大或做多次重复采样，SER 的信号会被采样噪声淹没，而这与”额外开销不超过总训练成本 15%“的定量目标直接冲突。可行的退路是用首 token 分布的 JSD 变化作低代价代理，但代理指标与真实 SER 的相关性本身需要先被验证——这一点在设计里应当作为前置实验，而非事后补救。

DRI/DAI 二分可能过于粗糙。 整个框架把响应路线简化为逐步推理与直接作答两类，再加一个 Other 兜底。论文的证据支持这一二分在 Math/IF 这一对任务上成立，但推广到”Math + IF + Code”三任务时，路由入口的种类与层级可能显著更多，且不同任务对的路由纠缠方式未必同构。若二分失效，路由锚定合成所依赖的”保持入口不变”这一操作就失去了明确定义。

相关不等于因果，而框架的干预建立在因果解读上。 论文报告的是 DAI 占比与 AIME best@32 的强相关（r = −0.85），以及受控 opening 干预下的因果证据——但后者是在特定干预设定下取得的（强制基础模型侧的 route token prefix），干预强度与训练中实际发生的分布漂移并不等价。把”路由驱动”当作主要机制来设计数据策展，隐含假设了训练过程中的支持侵蚀与实验中的强制干预共享同一条因果路径。这一假设需要在真实训练轨迹上复现干预，而不能直接从论文的结论继承。

支持恢复可能触发振荡。 阶段三设想在 best@k 低于阈值时暂停当前验证器训练、切到锚定轨迹 SFT 恢复路由多样性。这条路的风险是：恢复 SFT 本身会把策略推离当前任务的最优，恢复结束后 RLVR 再度侵蚀，形成”侵蚀—恢复—再侵蚀”的振荡，且每次切换都付出能力损失。框架需要显式定义切换迟滞与最大切换次数，否则”支持预算”约束可能在最坏情况下退化为训练完全停滞。