研究提案已修订

重放目标的支撑天花板：递归自改进中探索策略离线选择的支撑外价值缺失与 SPARE 框架

针对 Dream-RSI 把累积发现历史当模拟器、在已实现搜索空间上离线选择探索策略所导致的支撑天花板问题，提出以零成本支撑外价值标定、兄弟记录协议与组合安全性复检补回缺失自变量的 SPARE 框架。

2026年9月15日递归自改进探索策略离线策略选择数据工程 Agent 训练数据长程发现支撑覆盖 RLVR

背景与动机

长程发现（算法工程、数学优化、GPU kernel 工程）里的递归自改进，瓶颈不在单次评估，而在元层：判断一个探索策略好不好，要观察它如何塑造后续上千次提案—评估循环。Dream-RSI（arXiv:2609.14858，17 位作者，马里兰大学、Google DeepMind、弗吉尼亚大学等）给出的解法是把累积发现历史本身当作模拟器——外层第 t 轮，策略 π_t 在线扩展一棵发现树 𝒯_t 并入池；离线阶段在 𝒯_1..𝒯_t 上「做梦」，构造并评估 M 个策略版本，按平均重放分数选优者部署。原文式 (1)：

$V_i^m=\max_{v\in\mathcal{T}_i^{m,k^\star}}s_v-\beta_1 N_i^m+\beta_2\frac{N_i^m}{\max\{1,k_i^{m,\star}\}},\qquad V^m=\frac1t\sum_{i=1}^{t}V_i^m$

这套机制把元层反馈的成本压到了近乎为零，代价是把评估对象从发现空间换成了已实现发现空间。三处原文把这个替换钉死：重放「returns recorded children … rather than generating new candidates」；非根节点返回「v’s unique recorded child」；根节点返回「the earliest-created child of r outside 𝒯」，即按创建顺序揭示；末了一句「no outcomes beyond 𝒯_i are generated」。

从这三句可以推出一个关于选择准则本身的结论。在线阶段可选集是 A(𝒯)={r}∪{叶节点}，节点一旦被选中就产生一个新子节点且不再是叶节点，故每个非根节点至多拥有一条已记录延续——分支只发生在根。记第 i 个世界里前 J 条根分支上已记录节点的最高分为 g_i(J)，则 g_i 非降，且在 J 达到首次触及 Qi := max{v∈𝒯_i} s_v 的下标 J_i 之后恒等于 Q*_i。候选策略 m 的质量项取值为 g_i(J_i^m) 的上界，而 g_i 是世界的内禀函数，对所有候选策略同形。于是「新分支带来的质量增益」在 argmax_m V^m 里是一个跨策略常数偏移，被完全抵消；剩下的可区分部分只有 −β₁N_i^m 与并行奖励项。

由此得到本文的第一条推论（本文推算，非论文报告值）：重放最优策略是「最快抵达已记录最优节点、随后停止」。触及 Q_i 之后每多揭示一个节点，质量贡献恒为 max(0, s_v − Q_i)=0，成本恒为 −β₁<0。真实在线目标下的第 J 条分支价值 G(J) 不受 Q*_i 封顶，新生成的内容可以超过它；重放把 G(J) − g_i(J) 这一项恒置为零。创造增益的动作不被计分，检索增益的动作被计分，而选择只作用于后者。

MInTRL（arXiv:2609.12419，Chen、Tao、Friedland、Zhang、Kong，AWS 与波士顿大学）恰好给了这套局面的现成语言。它的 Lemma 3.3 写明：有限采样预算下，经验目标是「population reward 截断到经验可见支撑」，且「inference support 为空时间隙为一，否则为零」。Dream-RSI 的重放选择目标正是这个被截断的目标。差别在于截断的来源：MInTRL 的截断来自单步采样预算，可用外部干预扩张，且它给出了扩张的界（Theorem 3.5，N 次干预最多把可见支撑外推到 ε_inf·ν^N）；Dream-RSI 的支撑由上一代被这个目标选出来的策略生成，扩张它的动作在重放里只计成本。MInTRL 局限节第一条自陈「Extending the evaluation to additional student model families and long-horizon agentic tasks remains future work」，Dream-RSI 正是长程 agentic 任务。

经验侧也有钩子。Dream-RSI 的 Figure 6 报告 ConvDiv 上 E0→E8 的 round-best 从 0.427 升到 1.898，增量 1.471（相对 +344%），每一分增量都由在线新建节点带来，即由重放目标看不见的支撑外节点带来。同一图的 (b) 显示每轮评估次数原文写作「reducing the number of evaluated attempts from 110 to 50」，论文把这条曲线读成自适应效率；它也是支撑项缺失的预测签名，两种解释由下文的对照臂分离。第 5.1 节作者自陈显式语义指引「tends to over-constrain the search space and impede diverse exploration」——作者已经在提示层接受了「约束搜索空间有害」这一判断，却没有把它用到重放支撑层。

需要把这条曲线读全。Figure 6(b) 的九轮评估次数是 110 → 87 → 80 → 50 → 92 → 80 → 91 → 86（末轮数值图上未完整渲染），是 U 形而非单调下降：E3 触底 50 之后又回到 86–92。论文对此有解释——「as performance improves, it initially conserves discovery compute… When progress subsequently plateaus, it increases exploration effort again」。也就是说，原文引用的「110 to 50」是下降段，论文自己也记录了随后的回升。

这个 U 形对本文的预测形态有直接约束。它排除了「支撑单调收缩」这一过强版本：真实签名更可能是先收缩、后随平台期回补。因此下文定量目标其一的全局 Spearman 判据必须换成能识别 U 形的统计量，否则一个与机制完全相容的 U 形轨迹会因为后半段回升而被误判为证伪。

排除性取证：对全文（约 11.8 万字符）检索，coverage 命中 0 次、novelty 命中 0 次、limitation 命中 0 次、future work 命中 0 次；第 7 节结论之后直接进参考文献，全文无 Limitations 节。

核心思路

提出 SPARE（Support-Preserving Augmented Replay Evaluation），把「支撑外价值」这个缺失的自变量补回重放目标，并让分支决策重新进入可评估集合。三个组件。

第一个组件是零成本的支撑外价值标定。Dream-RSI 每轮已经记录了 (π_i, 𝒯_i) 对，缺的是账目而不是数据。定义 ĥ(π_i)：把 π_i 重放到前序池 𝒯_1..𝒯_{i−1}，统计选中根节点 r 的轮次占比，即分支开启倾向，纯离线、零额外算力。定义 Δ_i = max_{v∈𝒯_i} s_v − max_{v∈∪_{j<i}𝒯_j} s_v，即第 i 轮在线发现的支撑外增益。对 (ĥ(π_i), Δ_i) 做一元回归得斜率 η̂，修正后的选择目标为

$\tilde V^m=V^m+\gamma\hat\eta\,\hat h(m)$

γ=0 时严格退化为 Dream-RSI 原协议，这是结构性退化点；η̂ 的 95% 区间覆盖 0 时该项自动失效，同样退化。ConvDiv 报告了 E0–E8 九轮，去掉没有前序池的首轮，可得 8 个样本点，无需新增一次在线调用。

但样本量在三个领域间不均衡。原文只跑了 ConvDiv 的九轮；算法工程（Lasso）与 GPU kernel 工程的外迭代是 5 轮，去掉首轮只剩 4 个 (ĥ, Δ) 点对——刚好卡在目标其四「t ≥ 4」的门槛上。含义是：组件一的支撑外价值标定只能在 ConvDiv 上单独识别，另两个领域要么沿用跨领域 pooled 的 η̂，要么只报告方向不报告显著性。这一点必须预先登记，否则在三个领域上各自报出 η̂ 的 95% 区间会给出虚假的精度。

第二个组件把分支决策还给重放。在线阶段以采样率 ρ 对选中节点并发生成 d ≥ 2 个候选（同一父工作区、同一上下文），全部记为兄弟节点；重放规则把非根节点的揭示从「唯一已记录子节点」改成与根一致的「按创建顺序揭示未观测兄弟」。预算中性设计：固定总调用数，把 ρ 比例的调用从「新根分支」转到「兄弟节点」。收益是策略「从哪个中间解继续」的偏好首次成为可观测反事实；代价是路径数下降，ρ 是必须扫的权衡参数。

第三个组件来自 RIPPLE（arXiv:2609.12127）：编辑局部性不蕴含效应局部性，且「单独有效的编辑在组合后或失效、或变有害」。Dream-RSI 离线阶段的 M 次串行修订正是组合过程。SPARE 对每个候选版本跑两遍重放：一遍与 π_t^0 对比看孤立增益，一遍重放到已接受编辑链之上看组合后增益，只保留两者皆为正的版本。

组件三不是类比，是直接移植：RIPPLE 的摘要原文就是「先比较孤立增益，再把有希望的编辑重放到已接受更新之后以暴露下游效应与交互，只保留在组合下仍然安全的编辑」——与上面的两遍重放逐句对应，且该协议已在 Flow-HO 上实测有效（验证成功率最高 +23.1%，另在两个冻结骨干上同样为正）。这把组件三从「设计选择」提升为「已有实证支持的既有协议在新场景的应用」，风险显著低于组件一、二。

技术路线

第一步，重放日志加四个字段：选中集合是否含 r、每轮批大小、揭示节点的父节点 id、节点创建序号。这是计算 ĥ、判定分支开启、重建 g_i(J) 曲线所需的最小字段集。

第二步，按轮次累积 (ĥ, Δ) 对，用贝叶斯一元线性回归随 t 更新 η̂ 的后验，报告后验均值与 95% 可信区间；t 小时用弱信息先验，区间覆盖 0 时把 γ 置 0。

第三步，扫分支结构参数 ρ ∈ {0, 0.1, 0.2, 0.4}、d ∈ {2, 3}，总调用预算锁死在 A 臂实测值（Gemini-3.1-Pro 317 次、Gemini-3.7-Flash 1879 次），保证对照是预算中性而不是算力叠加。

第四步，四臂对照：A 为原协议（γ=0、ρ=0），B 为仅加支撑外价值校正，C 为仅加兄弟记录，D 为 B 与 C 合并。三个领域沿用原设置——算法工程（Lasso，与 sklearn、glmnet、SimpleTES 对照，六个留出数据集）、数学优化（ConvDiv）、GPU kernel 工程。

关键技术挑战有五条。一是 η̂ 的识别，ĥ 与 Δ 都被世界难度趋势混杂，后期轮次 Δ 自然变小，用同轮内 M 个候选策略的 ĥ 差异做组内对照更干净，因为同轮内世界难度一致。二是兄弟记录会改变在线树结构，A 臂与 C 臂的重放不再同分布，重放分数不可跨臂比较，跨臂结论必须落到在线指标上。三是支撑外价值的时间非平稳，η̂ 随池饱和而下降，固定 γ 会在后期过度鼓励开分支，改成分段估计或按当前 Q* 归一化。四是 β₁ 与 γ 的量纲耦合，前者是每次调用的成本、后者是每次分支开启的期望收益，两者必须统一到 score/call 才可加，需要在第一步就固定 s_v 的标度。五是组合复检让离线成本翻倍，用增量重放只重跑被编辑段影响的分支。

预期成果

定量目标四条。其一，复现诊断：A 臂下根分支数 B_i 与外迭代轮次 t 的 Spearman 相关 ≤ 0，即支撑收缩；若 ≥ 0，则「选择压倾向于不扩张支撑」的推论被证伪。其二，离线—在线秩相关：记 A 臂下 V^m 与该版本实际在线表现的秩相关为 ρ_A、D 臂为 ρ_D，目标 ρ_D ≥ 0.5 且 ρ_D − ρ_A ≥ 0.2。其三，预算中性的发现质量：同等累计调用数下，D 臂在三个领域至少一个上相对 A 臂改善 ≥ 5%，另两个不劣。其四，η̂ 的边界检验：t ≥ 4 时其 95% 区间若覆盖 0，即宣告池已饱和，B 与 D 臂应与 A 臂无显著差异——这是核心主张的边界条件，不是失败。

其一需要修订。按 Figure 6(b) 的 U 形，把判据换成两条都成立才算支持：一是分段斜率，前段（前四轮）B_i 对 t 的斜率 < 0，即存在收缩相；二是条件相关，只在「该轮 round-best 相对上一轮仍在上升」的轮次子集中检验 B_i 与 t 的相关，要求 < 0——这才是「支撑被封顶而性能仍在涨」的直接对应物，且与后段回补相容。若两条都不成立，推论被证伪；若只有条件相关成立而全局相关 ≥ 0，应判定为 U 形支持而非证伪。

定性影响有三条。把「经验可见支撑」从采样预算的副产品，变成递归自改进流水线里被记账、被标定、被优化的一等变量。给 RSI 分层路线（arXiv:2609.11873 的 L3 经验获取自主性）一个可测子目标：经验获取自主性的下限，就是 η̂ 还能否被非平凡地估出来。为「离线重放在什么条件下是可信的策略选择器」给出一条可操作的判据——当被评估策略的动作空间中，存在在重放里退化为常数的决策类时，重放分数只覆盖策略能力的一个商空间。

反向限定：Dream-RSI 在已报的 5–9 轮尺度上未必吃亏，支撑收缩的损失小于它省下的调用成本。原文 Table：Recursive Fixed Exploration 用 550 次调用得 3587.1 ms，Dream-RSI 用 317 次得 2931.0 ms（这是两个系统的对照，不是同一系统前后的变化），而 SimpleTES 用 GPT-OSS-120B 报了 51,200 次生成，低两个数量级。本文主张的是该协议在轮数放大后的失效，不是它在已报规模上的失效。

一个现成的饱和信号：Figure 6(a) 最后两轮 E7 1.880 → E8 1.898，只涨 0.018（约 1%）。ConvDiv 的九轮窗口本身已经进入平台期。所以「轮数放大后才失效」这一主张无法在已报数据内自证，只能靠外推——把这一点写明，是为了避免读者把本提案读成「Dream-RSI 的结果有问题」。

局限性与失效模式

ĥ 的自指识别风险。组件一要靠 π_i 在分支开启倾向上的跨轮方差来识别 η̂。但推论一预测的最优策略形态是「快速抵达已记录最优、随后停止」——若该预测成立，被选中的策略在 ĥ 上会高度同质，方差趋近于 0，回归反而不可识别。机制越强，标定它越难。缓解手段是把 ĥ 的定义从「选中根的轮次占比」放宽到「首条根分支开启前的揭示节点数」，后者在停止型策略之间仍有分辨率；若两者方差都塌缩，应直接宣告组件一在当前轮数下不可识别，而不是报一个宽区间。
Δ_i 是左截尾的。Δ_i = 本轮在线最优 − 前序池最优，按构造恒 ≥ 0（前序池最优只会单调上升）。用普通最小二乘拟合 (ĥ, Δ) 会系统性低估斜率。应当改用只在 Δ_i > 0 的子集上做的 Tobit 型处理，或把因变量换成「本轮是否刷新记录」的逻辑回归，再用其系数反推方向。
兄弟记录会让根分支数必然下降。固定总调用数时，ρ 比例的调用从新根分支转到兄弟节点，C 臂的根分支数在构造上就低于 A 臂。所以「C/D 臂的根分支数不低于 A 臂」不能当作成功指标，跨臂结论只能落到在线发现质量上。这一点若不在实验设计阶段写明，四臂对照会得到同义反复的结果。
并行奖励项会被兄弟记录污染。β₂ 项奖励的是并行度，而兄弟节点天然是同一父节点的并发生成，会抬高分母 k^{m,⋆} 之外的并行计数。D 臂相对 A 臂的部分增益可能只是这一项的口径变化，而非支撑外价值。四臂必须在第一步就把并行度的计算口径锁死（建议固定为「每轮平均批大小」，与树结构无关）。
可复算性缺口。Dream-RSI 的发现树 𝒯_i 与重放日志均未公开，本方案要求新增的四个字段需要改动重放实现才能产出，任何第三方都无法纯离线复现。这一点与本文批评的对象（重放目标不可外部审计）是同一类问题，方案自身的验证依赖原作者配合或重新实现。
领域迁移的边界。三个原领域（Lasso、ConvDiv、GPU kernel）的指标都是连续且密集的，Q*_i 的触及判定稳定。若迁移到指标稀疏或离散的领域（如定理证明、组合优化的可行性判定），大量轮次的 Δ_i 会恰好为 0，第 2 条的截尾问题会主导结果。
轮数上界。算法工程与 GPU kernel 领域只有 5 轮外迭代，去掉首轮剩 4 个样本点，恰好等于目标其四的门槛。η̂ 的识别实质上只由 ConvDiv 一个领域承担，跨领域泛化的说法没有数据支撑。