入口锁死的数据侧解法：面向 RLVR 首步熵坍缩的入口分叉覆盖数据工程框架 ForkGate

背景与动机

RLVR 把 pass@1 推上去的代价，是解空间被压窄。Zhou 与 Li（arXiv:2608.29188，上海大学未来技术学院、伯明翰大学计算机学院，2 人）做了一次干净的拆分：把「够不着某个解法族」与「进了族但算不完」分开测。Countdown 任务的解空间能穷举成离散的入口族，由第一个操作数和运算符定义。在 PPO on Qwen2.5-3B 与 GRPO on Qwen2.5-3B-Instruct 两套设置下，覆盖率下降最多 67%，即便在全程每个 checkpoint 都能解对的题目上也腰斩。收缩的位置高度集中：首个算术运算之前的逐 token 似然漂移，是下游推理段的 11–16 倍。

真正有分量的那个数字来自一次干预：只补一段「未被选中的入口前缀」，低可达族的完成率从 0.018 回到 0.212（PPO），量级超过十倍。替代解法仍然可执行，只是不再被发起。能力没有消失，发起权被锁死了。

现有解法分三类，各自留着一个洞。

第一类是 token 级熵正则。Cui 等（arXiv:2505.22617）把 RLVR 的饱和归因于少数高协方差 token，给出 Clip-Cov 与 KL-Cov。这类方法对位置无感知：探索预算平摊到整条轨迹，而坍缩的 11–16 倍集中在入口的那几个 token 上。拿全轨迹的预算去补几个 token 的亏空，代价由本已稳定的下游承担。

设置	Qwen2.5-7B Avg.	Qwen2.5-32B Avg.
GRPO 基线	38.6	45.8
+ Clip-Cov	40.4（+1.8）	50.3（+4.5）
+ KL-Cov	40.6（+2.0）	52.2（+6.4）

分列之后结论不变，论据反而更硬：两种方法都有效，KL-Cov 更强，而两者都没有位置感知——这才是对本提案关键的那一条。

第二类是参数层干预。Zhou 与 Li 自己给出的修复是晚期层参数与早期 checkpoint 插值，覆盖率 +37% 且不损失 pass@1。这条路要求保留早期 checkpoint，对层数敏感，换模型族要重新标定；它也不告诉模型该发起哪些入口，只是把被压下去的似然重新抬起来。

第三类是最朴素的数据层观察。同一篇论文报告 SFT 基线保留了相当于 RLVR 两倍的覆盖率，分阶段 SFT–DPO–RLVR 流水线能留住首步熵。这条线索说明数据轴有效，却停在「SFT 天然更多样」的观察上，没有把入口结构从数据里显式取出来。

缺口就在这里：入口是轨迹上信息量最密集、也最先被优化压平的一段，却没有一种数据表示把它单独拿出来约束。混合更多轨迹解决不了这件事——若 95% 的 rollout 落在同一个入口族里，十倍的数据量换回来的仍是同一个入口。

核心思路

提出 ForkGate：把「入口族」提为训练数据中可验证的一等结构，用分叉覆盖约束数据构造，用入口分层优势基线约束 RL 目标，两者共用一个入口划分函数 κ。

κ 把一条轨迹的前缀映射到一个入口等价类。它要满足三条：可计算，不依赖人工标注；可验证，类的可行性由验证器确认而非模型自述；决定性，类标签应当能预测下游覆盖。Countdown 里 κ 是第一个操作数与运算符对，可穷举；数学与代码里 κ 需要学出来。

数据侧的做法是分叉覆盖。对每个问题采样，直到命中至少 m 个不同入口族，且每个族的样本都通过验证器。产出的不是「更多样的 SFT 数据」，而是一组在入口维度上被结构化的数据：每个问题带一棵入口树，每个入口至少有一条被验证过的完整解。

RL 侧的做法是把 GRPO 的分组键从 question 改为 (question, κ(τ))。这一步有明确的机制理由。标准 GRPO 在组内做优势归一化；一旦采样坍缩到单一入口族，组内比较只在执行层面产生信号，入口维度拿不到任何梯度，只能被似然锐化单向压平。反过来，若强行把跨入口的采样塞进同一个组，共享基线会让稀有且正确的族拿到高优势，也会让稀有且失败的族拿到同等量级的惩罚，探索被系统性过度惩罚。分层之后，组内比较限于族内，跨族用一个按族统计的先验均值做基线，稀有族的失败不再被放大成「这个入口族不该选」。

与现有工作的分野：

工作	干预位置	未覆盖的维度
Clip-Cov / KL-Cov（2505.22617）	token 级梯度，位置无关	坍缩的 11–16 倍位置集中性
晚期层 checkpoint 插值（2608.29188）	参数空间，训练后处理	依赖早期 checkpoint；不指定该发起哪些入口
SFT 多样性观察（2608.29188）	数据，但无结构	多样性总量不等于入口覆盖；无入口等价类概念
CAST（2608.30147）	稀疏结果转动作级监督	粒度到动作，未区分首步与后续动作的信息量差异
WebWorld（2608.30530）	可执行环境签发接受证书	证书约束产物能力，不约束解路径的入口分布

最后一行值得展开。WebWorld 给出了本提案借用的方法论原型：浏览器作为「VLM 骗不了的对手方」，只在目标进展与既有能力全部保持时签发接受证书，证书棘轮是 SFT 唯一看到的东西。27B 上 HTMLBench-400 +5.3、MiniAppBench-Val +14.9；去掉证书后 9B 的提升几乎归零，TC pass 反而比 Raw 低 3.1 点。ForkGate 要的是同类物：入口族的可行性也应由执行签发，不由模型的自我报告签发。

两条可证伪预测，用来把本提案与相邻假说分开。

预测一（针对 2608.29188）：若入口锁死纯粹由参数层面的似然锐化驱动、与训练数据分布无关，那么入口分层数据不应恢复覆盖。若 ForkGate 在不做权重插值、不保留早期 checkpoint 的条件下，单独把覆盖率恢复到 SFT 基线的 2 倍以上，则数据轴是一条独立于参数轴的因果通道。

预测二（针对多样性总量假说）：若效果只是「注入了更多样 SFT 数据」的一般效应，那么等量但不按入口族分层的多样性数据应达到同等效果。若分层臂在 EC@16 上显著优于非分层对照臂，则有效成分是入口结构本身，不是多样性总量。

技术路线

第一步：κ 的构建与标定。 在可穷举域（Countdown）上直接用第一个操作数与运算符对定义 κ，作为金标准。在不可穷举域（数学、代码）上用「首步语义簇」做代理：抽取轨迹中第一个实质性解题动作（选用的定理、分解方式、调用的第一个工具），嵌入聚类得到类标签，再用验证器确认每个类的可行性。标定判据是 κ 的决定性——Countdown 上，κ 的类标签应当能预测低可达族的完成率差异；若类内方差与类间方差同量级，说明 κ 划得太粗或太细。

第二步：分叉覆盖数据构造。 对每个问题运行拒绝采样，直到至少 m 个不同入口族各有一条通过验证器的完整轨迹；m 由验证器确认的可行族数量与采样预算共同决定。产出是一棵入口树，节点是入口族，叶子是被验证过的完整解。这里需要一道反伪造闸门挡住伪分叉：同一思路换变量名、做等价变形得到的轨迹不算新入口族。闸门判据是，若两条轨迹的入口族标签不同、但中间状态序列与下游执行成功率无显著差异，则合并。

第三步：入口分层优势基线。 分组键改为 (question, κ(τ))，族内做标准归一化。跨族基线取按族统计的先验均值，以滑动窗口更新，族计数做拉普拉斯平滑，避免新族被零计数压制。

第四步：覆盖度指标与评测。 主指标 EC@K，即 K 次采样命中的不同入口族数除以验证器确认的可行族数。辅助指标取 pass@1、pass@64 与覆盖率—准确率帕累托前沿。评测域分两层：Countdown 做机制验证，六个数学 benchmark 的 7B 与 14B 模型做泛化验证。训练中挂一个 early-branch entropy 监视器，入口熵跌破阈值即报警。

三处关键技术挑战。

κ 在不可穷举域没有金标准，聚类标签的可靠性只能靠决定性指标间接检验，这是方案最脆弱的一环。缓解办法是先在可穷举域锁定 κ 的性质，再把「类内方差 / 类间方差」比作为跨域可迁移的代理指标，并如实报告该代理指标与金标准的偏差。

分叉覆盖会拉低平均样本质量：低可达入口族的正确率天然更低，强制覆盖等于主动引入更多失败轨迹。入口分层基线正是为此设计，但分层也减少了每组的有效样本数，采样预算固定时需要在 m 与每组样本量之间权衡。

覆盖与准确率的帕累托张力消除不掉。本提案的立场不是最大化覆盖率，而是把覆盖率当作受控约束：在 pass@1 不掉点的前提下最大化 EC@K，并报告完整帕累托曲线，而非单一数字。

预期成果

定量目标分三层。

机制验证层（Countdown，PPO / GRPO，Qwen2.5-3B 系）：EC@16 从标准 RLVR 后的塌缩值恢复到 SFT 基线的 2 倍以上，pass@1 与标准 RLVR 的差距控制在 1.0 个点以内。

泛化验证层（六个数学 benchmark，7B 与 14B）：相对标准 RLVR，pass@64 提升不少于 6 个点，pass@1 不掉点。

对照层：非分层等多样性对照臂的 EC@16 应低于分层臂至少 3 个点；若差距不显著，预测二被削弱，入口结构假说的适用范围需要重新界定。

定性目标两项。其一是把「入口」变成可测量、可干预的训练对象，开源 κ 的实现与标定协议。其二是提供训练期诊断信号，让首步熵坍缩在发生时可被观测，不必等到 pass@K 掉下来才发现。

影响落在三个方向。test-time scaling 的收益能从多样性税里赎回一部分，因为 majority voting 与树搜索依赖候选多样性，而 RLVR 把这个前提削掉了。数据侧杠杆与具体 RL 算法正交，可叠加在 Clip-Cov、KL-Cov 或晚期层插值之上，不占用它们的预算。对 Agent 训练数据而言，入口直接对应「Agent 第一步调哪个工具」，同样的锁死机制在工具选择层面应当存在，这是最直接的延伸方向。

相关工作

1. Qiancheng Zhou, Ruizhe Li（2 人，上海大学未来技术学院、伯明翰大学计算机学院）. Locked at the Entrance, Open Inside: Where RLVR Narrows the Solution Space. arXiv:2608.29188（2026-08-29）. https://arxiv.org/abs/2608.29188 — 首步熵坍缩的定位，本提案的问题来源与预测一的检验对象。

2. Ganqu Cui 等（17 人）. The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models. arXiv:2505.22617. https://arxiv.org/abs/2505.22617 — 高协方差 token 机制与 Clip-Cov / KL-Cov，位置无关路线的代表。

3. Jiajun Wu 等（10 人）. WebWorld: The Browser as a World Model for Self-Improving Web Code. arXiv:2608.30530（2026-08-31）. https://arxiv.org/abs/2608.30530 — 可执行环境签发接受证书，ForkGate 证书机制的原型。

4. Amir Saeidi 等（9 人）. CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents. arXiv:2608.30147（EMNLP 2026 Main）. https://arxiv.org/abs/2608.30147 — 把稀疏终局结果转成动作级监督，与 ForkGate 同属「信号前移」，但未区分首步与后续动作。

5. Wentao Zhang 等（7 人，第一作者 Wentao Zhang）. Control-Data Flow Separation: Stable Prompt Optimization in Multi-Agent LLMs. arXiv:2609.00621（2026-09-01）. https://arxiv.org/abs/2609.00621 — 控制变量与数据变量分离，为「入口族作为受保护的控制变量」提供类比。

引用核查记录

引用	ID/作者数/日期	关键数字	结论
首步熵坍缩定位（2608.29188）	✅ 2 人，2026-08-29	67%、11–16×、0.018→0.212、插值 +37%、SFT 覆盖率 >2×	全部命中摘要，机构（上海大学未来技术学院 / 伯明翰大学计算机学院）经 HTML 脚注核实
熵机制（2505.22617）	✅ 17 人，2025-05-28	+2.0 / +6.4	数字属实，但仅对应 KL-Cov，Clip-Cov 为 +1.8 / +4.5 → 已修正
WebWorld（2608.30530）	✅ 10 人，2026-08-31	+5.3、+14.9、证书消融 TC −3.1（31.0 vs 34.1）	全部命中；EMNLP Main Conference 经 comments 字段证实
CAST（2608.30147）	✅ 9 人，2026-08-31	—	「EMNLP 2026 Main」经 comments 字段证实（Accepted to EMNLP 2026 (Main)）
Control-Data Flow Separation（2609.00621）	✅ 7 人，2026-09-01	—	论文属实，会议标注无法证实 → 已撤下待回填