研究提案 已修订

可复现梯度承载证书:把自演化数据合成的可教性奖励从单次分组抽样升级为两阶段复现估计

SynCo 用单次 K=4 rollout 的二值化结果判定任务是否承载梯度,并以此作为 Synthesizer 的可教性奖励与全文核心诊断。该判据在 K=4 下不可辨识:p=0.95 的任务仍有 18.5% 概率被判为承载,高于论文当作前沿签名的池级 16.2%;论文自陈可教性与该判据的 r=0.934 是 by construction。RGBC 用筛查—确认两阶段抽样给出复现率证书,重写可教性奖励,并为参考答案补外部锚。

自演化数据合成 多智能体强化学习 RLVR 数据合成 自进化智能体 可教性信号 课程生成 统计可辨识性 GRPO 数学推理 数据工程

背景与动机

自演化合成的核心许诺是:训练分布随学习者能力一起移动,而不是一次性生成后固定下来。SynCo(arXiv:2610.11345,11 位作者,v1 于 2026-10-08)把这个许诺落成了一条可优化的回路——Synthesizer 与 Reasoner 各自独立参数化(均为 Qwen3-8B 的独立副本,GRPO 优化,每轮 32 条任务、每条任务 K=4K=4 条独立轨迹),同一批在线交互一次产出 Reasoner 的 rollout 级正确性奖励与 Synthesizer 的任务级奖励 rS,t=Gq(rtquality) Gr(rtreliability) T(μt)r_{S,t}=G_q(r_t^{\mathrm{quality}})\,G_r(r_t^{\mathrm{reliability}})\,T(\mu_t)。

两个门与可教性项在附录 B.2 给出的是闭式:

G(v)=clip⁡ ⁣(v−0.50.5, 0, 1),T(μt)={2μt,μt≤0.5,2(1−μt),μt>0.5.G(v)=\operatorname{clip}\!\left(\frac{v-0.5}{0.5},\,0,\,1\right),\qquad T(\mu_t)=\begin{cases}2\mu_t,&\mu_t\le 0.5,\\ 2(1-\mu_t),&\mu_t>0.5.\end{cases}

这条闭式带来一个此前未被指出的后果:K=4K=4 时 μt\mu_t 只能取 0,0.25,0.5,0.75,10,0.25,0.5,0.75,1,于是 T(μt)T(\mu_t) 只取 0,0.5,1,0.5,00,0.5,1,0.5,0 三个值。Synthesizer 的可教性奖励在单批次尺度上是一个三档离散量,不是连续量;G(v)G(v) 又对低于 0.5 的质量/可靠性分数直接置零。论文报告的可教性均值 0.206 → 0.060 就是这两个离散量的池级平均。

八个数学基准(GSM8K、SVAMP、ASDiv、GSM-Hard、MATH-500、AIME24、AIME25、Minerva)上,SynCo 平均分 78.72%,比最强的外部合成数据基线 ScaleQuest-Math(74.96%)高 3.76 个点,比冻结 Synthesizer 的变体(75.85%)高 2.87 个点,比 Vanilla Qwen3-8B(72.36%)高 6.36 个点。

这个设计的说服力依赖一个度量:「梯度承载」(rollout 组内奖励不全等,即 0<μ<10<\mu<1)。它一并出现在课程演进分析(图 2)、信号对齐分析(图 3)、ex-ante 难度校准(图 4)、成本表(表 3 的 productive rate)与跨数据源对比(图 5)里。问题在于,这个度量在 K=4 下是被单次抽样二值化的,而论文从未对它做复现、对照或零模型校验。

m(p)=1−p4−(1−p)4m(p)=1-p^4-(1-p)^4 给出了一条任务在单次 4 条 rollout 下被判为「承载梯度」的概率。p=0.5p=0.5 时 m=0.875m=0.875;p=0.95p=0.95 或对称的 p=0.05p=0.05 时 m=0.185m=0.185——高于论文全文当作「可教前沿签名」的池级 16.2%。一个几乎必会(或几乎必不会)的任务,凭一次 4 条抽样就有 18.5% 的概率被归入承载梯度的那一档。

更直接的检验是把论文自己刊出的分桶数字拿去拟合一个中间带为空的双峰零模型。末桶的 59.9% 全对 / 9.5% 承载 / 30.6%(隐含)全错,可由「64.94% 的任务取 p=0.98p=0.98、35.06% 取 p=0.0334p=0.0334、两者之间没有任何任务」完全复现:预测值为 59.9% / 9.5% / 30.6%,逐位吻合。首桶的 34.4% / 31.3% / 34.3% 同样可由「52.4% 取 p=0.9001p=0.9001、47.6% 取 p=0.0787p=0.0787」复现,预测 34.4% / 31.3% / 34.3%。这是存在性反演而非唯一性主张(三个自由参数拟合两个独立约束),它证明的是统计量不可辨识:16.2% 与 31.3%→9.5% 这组数字无法区分「池子里存在可教前沿」与「池子双峰、承载率全部来自二项噪声」。

论文自己在附录 D 表 5 给出的池级三分量是 475 条(16.2%)承载、994 条(33.8%)全错、1,471 条(50.0%)全对。把末桶的 59.9% / 9.5% 与池级的 50.0% / 16.2% 并排看,会发现一个反直觉的事实:训练结束时,全对比例比池级更高(59.9% > 50.0%),承载比例却更低(9.5% < 16.2%)。若前沿真的在被消耗,两个方向应当一致;目前的组合更像是末桶的采样噪声变小、而非前沿被挖空。论文没有报告末桶的绝对条数与置信区间,31.3%→9.5% 是两张图上读出的分桶比例,不是带样本量的估计。

一组独立的旁证来自论文的 ex-ante 难度校准(表 7):自评难度从 learnable(630 条,平均 SR 0.625)到 hard/too hard(363 条,平均 SR 0.484)移动时,全对率从 53.0% 掉到 39.9%、全错率从 30.2% 升到 44.1%,承载率却几乎不动(16.8% / 16.0% / 16.0%)。三个难度层共享同一个承载率,正是「承载率由二项噪声而非难度位置决定」的直接证据——如果承载反映真实的可教带,它应当随难度层的移动而显著变化。把 learnable 标签当预测器时,精度 16.8%、召回 22.3%、r=0.009r=0.009,与 16.2% 的池级患病率几乎相同。

同源问题在论文内部已被承认,而且是在正文里,不在附录。§4.4 把「可教性与梯度承载指标相关 r=0.934r=0.934」作为核心证据列出,图 3 用它支撑「门控奖励把承载率从 16.2% 富集到 62.3%、纯可教性到 64.6%」;紧接着的 §4.5 正文原句就写着这个相关是 by construction——T(μt)T(\mu_t) 与二值承载判据都是同一批 rollout 的 μt\mu_t 的函数,前者线性、后者是 0<μt<10<\mu_t<1 的指示,r=0.934r=0.934 测的是同一条曲线与其自身域限制的拟合度。§4.4 自己也标注该分析 rerank 的是已收集的任务池,属于诊断而非因果消融;表 6 里 novelty 与承载指标的 r=−0.041r=-0.041、可教性与原始成功率的 r=−0.028r=-0.028 可作对照——后者接近 0,说明可教性的高相关确实来自「混合性」这一个维度,而非难度。

值得单独记一笔的是富集倍数的口径。62.3% 与 64.6% 是前四分之一分位上的承载率,富集倍数 3.9× / 4.0× 是相对 16.2% 池级患病率算的。但 top-quartile 只有 735 条任务,在这个样本上 62.3% 的二项标准误约 1.8 个点;而 quality-only(12.8%)与 novelty-only(12.0%)低于池级患病率这件事本身说明,这两个信号选出的四分位比随机还差。论文把这组对比读作「可教性最对齐」,严格说只证明了另外两个信号与承载率独立或负相关。

奖励的时间戳同样未被处理。Synthesizer 拿到的 μt\mu_t 是 Reasoner 更新之前那批 rollout 的实现,而 Reasoner 正是在同一批 rollout 上被更新,更新后同一任务的 μ\mu 随即改变。论文图 2(b) 显示可教性从 0.206 降到 0.060,图 2(a) 显示承载率从 31.3% 降到 9.5%——Synthesizer 持续在追一个每次都追不上的量,而这个落差从未被量化成有符号的数字。

参考答案的锚是自洽锚而非外部锚,这是另一处独立缺口,但它的形态与「完全没有校验」不同。可靠性门逐字规定为 Synthesizer 自带参考解与其最终答案之间的内部一致性(rule-based checks,无 LLM 裁判);验证器 ρt\boldsymbol{\rho}_t 检查 schema 完整性、题目良构、答案一致性、输出合法性与对近期任务的冗余度,通过率 91.9%(3,200 条候选里 2,940 条通过)。在此之上,论文还启用了第三道门:一道独立共识校验(consensus check),它独立求解生成的题目,并拒绝那些推断答案不支持 Synthesizer 提供参考解的任务;被拒任务不进入 Reasoner 训练,同时向 Synthesizer 回传负反馈(附录 B.2、C.3 均写明启用)。

⚠️ 订正:本提案此前把这条链路描述为「以自生成、无外部锚的答案为唯一参照」「一条自洽但错误的答案会一并通过可靠性门」。回源后不成立——论文确有上述第三道门。修正后的准确表述是:这道门由同一族模型独立求解构成,是更强的自洽锚,仍然不是外部真值锚;模型若在某类题目上系统性出错,独立求解会与错误答案收敛到同一处,门照样放行。真正的缺口因此不是「没有校验」,而是论文从未报告这道门过滤掉多少任务、也从未报告参考解与独立解的一致率。

Reasoner 的正确性奖励(答案正确且在规定格式内 1.0、答案正确但需格式恢复 0.9、否则 0)以通过这三道门的答案为唯一参照,而该答案与 Reasoner 自身是同一族模型产出的。ν\nu 因此仍然是一个此前无人报告的量,只是它的定义要挂到共识校验那一行:它测的正是共识校验所阈值的那个量,而论文只给了阈值、没给分布。

效应量的口径也需要核对。表 3 里 productive rate 从 13.7% 升到 14.5%(每批 4.38 → 4.64 条),分解到子项是 learnable 3.4%→3.9% 与 mid-band 10.3%→10.6%;统计区间是 steps 13–70,即 58 步 × 32 条 = 1,856 条任务。两臂各自的二项标准误约 0.80 与 0.82 个点,差值的标准误约 1.14 个点,因此 +0.8 个点约等于 0.70 个标准误,不是 1 个。

这个 1.14 个点还是下界。同一批内的 32 条任务共享同一份 Synthesizer 参数、同一份合成上下文 ctc_t,任务之间不独立;按任务层聚类修正后区间只会更宽。论文自己把 −1.5% 的更新时间差与 +0.6% 的墙钟差判为可忽略(panel (a) 另给出中位数更新时间差 −0.9%),却把 +0.8 个点判为「把训练分布重新分配到了更有信息的交互上」——两个判断用的是同一张表、同一个量级的不确定性,尺度并不一致。

全篇主结果表无误差棒、无置信区间,全文未出现第二个随机种子,也没有 Limitations 或 Broader Impact 章节(arXiv HTML 全文零命中)。八个基准上 SynCo 在六个取得最优或并列最优、其余两个第二,这个一致性论证是跨数据集的,不能替代跨种子的方差估计。

核心思路

提出可复现梯度承载证书(Replicable Gradient-Bearing Certificate, RGBC):把「这条任务是否承载梯度」从一次二元化判定改成一次可复现的两阶段估计,并用它重写 Synthesizer 的奖励与论文报告的全部承载率数字。

四个统计量构成本方案的骨架。前两个是估计量,后两个是审计量。

筛查—确认两阶段抽样与复现率 κ\kappa。每条通过验证的任务先抽 K=4K=4 条作为筛查组;仅当筛查组落在 0<μ^1<10<\hat\mu_1<1 时,追加第二组独立 rollout 作为确认组,记 κi=1[0<μ^2,i<1]\kappa_i=\mathbf 1[0<\hat\mu_{2,i}<1]。对固定的真实通过率 pp,两次抽样独立,故 Pr⁡[κi=1∣g1,i=1]=m(p)\Pr[\kappa_i=1\mid g_{1,i}=1]=m(p)。池级 κˉ=E[m(p)∣g1=1]\bar\kappa=\mathbb E[m(p)\mid g_1=1] 是前沿质量的一致估计;单次 Pr⁡[g1=1]=16.2%\Pr[g_1=1]=16.2\% 不是。判定阈值很硬:池子真有前沿时 κˉ\bar\kappa 落在 0.68–0.875;承载率若全部来自极端 pp 的噪声,κˉ\bar\kappa 不超过 0.35。追加抽样只覆盖约 16% 的任务,rollout 预算增量低于 17%。

合并估计与连续优势幅度。用两组共 2K2K 条算 μ~i\tilde\mu_i,奖励改为 T~i=T(μ~i) ω(κi)\tilde T_i = T(\tilde\mu_i)\,\omega(\kappa_i),取 ω(1)=1\omega(1)=1、ω(0)=ω0=0.2\omega(0)=\omega_0=0.2。二值化丢掉的信息用 adv^i=2K2K−1μ~i(1−μ~i)\widehat{\mathrm{adv}}_i=\frac{2K}{2K-1}\tilde\mu_i(1-\tilde\mu_i) 补回——GRPO 组内优势的方差正比于 μ(1−μ)\mu(1-\mu),这是一个连续量,不需要切分点。ω0=1\omega_0=1 且不抽第二组时,T~\tilde T 严格退化为 SynCo 的 T(μt)T(\mu_t)。

参考锚缺失率 ν\nu。2K2K 条 rollout 的答案众数与参考答案 a⋆a^\star 的一致率记为 νi\nu_i;νi=0\nu_i=0 且众数在不少于 3/43/4 的 rollout 上稳定时,该任务进入「参考存疑」桶,正确性奖励改用众数答案作临时锚(或直接丢弃),并单列报告。池级 νˉ\bar\nu 是合成管线的一项质量指标,此前无人报告。

注意 ν\nu 不是要新装一道门——SynCo 已有共识校验在做同一件事,只是它只给阈值、不给分布。ν\nu 的作用是把这道门从二值开关变成可监控的连续指标,并让「参考存疑」桶的比例可被追踪。由于共识校验在准入阶段用的是独立求解而非 Reasoner 的 KK 条 rollout,ν\nu 与它并不重合:ν\nu 衡量的是事后 2K2K 条 rollout 的众数与参考解的关系,可视为对共识校验通过者的再抽样复核。

一步滞后落差 ℓ\ell。同一批任务在 Reasoner 更新前后各抽一组,ℓt=μ^tpre−μ^tpost\ell_t=\hat\mu^{\mathrm{pre}}_t-\hat\mu^{\mathrm{post}}_t。它把「Synthesizer 追不上的量」变成有符号数字。既然确认组本来就要抽,把 T~\tilde T 的自变量从 μ^pre\hat\mu^{\mathrm{pre}} 换成 μ^post\hat\mu^{\mathrm{post}} 不需要额外预算。

与 SynCo 的关键区别只有一条:SynCo 用同一批 rollout 的单次二元化一并定义奖励与诊断,RGBC 把奖励放到第二次独立抽样上,并把诊断改成可复现的证书。与 R-Zero、Socratic-Zero、Agent0 这一类 proposer–solver 共同演化的区别在于,它们交替更新两个角色,没有讨论承载判据本身的可辨识性。

技术路线

第一步,证书仪器标定(零训练成本)。 在 SynCo 已释出统计的同等设置下,用 Vanilla Qwen3-8B 对每条任务抽独立的第二组 rollout,算池级 κˉ\bar\kappa;用分桶数字拟合双峰零模型,报告它对 16.2%、31.3%→9.5%、22.8% 三个数字的复现误差;算参考锚缺失率 νˉ\bar\nu。这一步不开 GPU 训练,只做采样与拟合,输出三个数:κˉ\bar\kappa、零模型复现误差、νˉ\bar\nu。

第二步落在参考存疑桶上,做外部标定。抽样 200 条做双盲人工判定(判定人不接触 νi\nu_i 的取值),给出众数锚相对参考答案的精确率与召回率门禁(P≥0.80、R≥0.75)。未达门禁则参考存疑桶不进入训练,只作诊断列报。

第三步,三臂训练对照。 Qwen3-8B,3 个 seed,100 步,每批 32 条任务,rollout 预算配平(统一按 +17% 的第二组开销计,或从未被复现的任务里省出)。三臂为:SynCo 原奖励;只把 μ\mu 换成 μ~\tilde\mu 但不按 κ\kappa 衰减;完整 T~\tilde T 并把自变量换成 μ^post\hat\mu^{\mathrm{post}}。主指标用复现版 productive rate 与八个基准平均分。

第四步把论文报告的每个承载率按证书口径重算一遍。16.2%(池级,表 5)、22.8%(图 5,SynCo 数据在 Vanilla Qwen3-8B 下)、13.7% / 14.5%(表 3,steps 13–70)、62.3% 与 64.6%(图 3,门控奖励与纯可教性的 top-quartile 富集率)逐个按「两次抽样均为混合」的口径重报,并给出每个数字的 seed 间极差。

图 5 那一组要单独处理。22.8% 是对照 MetaMathQA 4.1%、ScaleQuest-Math 10.9%、OpenMathInstruct-2 9.4% 得出的,论文把它写成 2.1–5.5× 的提升。但四个数据源是在同一个 Vanilla Qwen3-8B、同一份 rollout 预算、同一个 checker 下用同一条 m(p)m(p) 映射测出来的:若某数据源的 pp 集中在两端,它的观测承载率几乎全部来自二项噪声;若集中在中间带,观测值才接近真实。因此 2.1–5.5× 是观测值之比,不是真实承载概率之比——在双峰极限下这个比值会被系统性放大。重算时应当报告的是各源 κˉ\bar\kappa 之比,而不是 Pr⁡[g1=1]\Pr[g_1=1] 之比。

第五步,跨尺度与存疑桶收益重估。 Qwen3-4B 上复跑第三步的最优臂;把参考存疑桶剔除后重估下游增益,回答「这些任务是在教推理还是在教错误」。

关键技术挑战有三处。两阶段抽样让 Synthesizer 的奖励方差下降但延迟一步,需要确认 μ^post\hat\mu^{\mathrm{post}} 替换不会引入离策略偏差——做法是保留 pre 组用于 Reasoner 更新、post 组只用于 Synthesizer 奖励。众数锚在 pp 极低的硬任务上本身不可靠(4 条 rollout 全错时众数无意义),故 ν\nu 只在 0<μ^<10<\hat\mu<1 的任务上定义,硬任务单独进无真值切分,不池化。κˉ\bar\kappa 的估计需要任务层聚类修正,同一批任务的 rollout 共享 Synthesizer 参数,简单二项区间会偏窄。

预期成果

六条可证伪预测,每条带终止线。

  • P1:在 2,940 条任务池上用 Vanilla Qwen3-8B 测得 κˉ≤0.45\bar\kappa\le0.45。若 κˉ≥0.70\bar\kappa\ge0.70,池子确有前沿,本方案主轴作废,改走「如何扩大前沿带」的分支。
  • P2:双峰零模型对末桶与首桶两组三分量的复现误差每个不超过 2 个点。若误差超过 5 个点,不可辨识的论证不成立,第一条至第三条证据作废。
  • P3:参考锚缺失率 νˉ≥5%\bar\nu\ge5\%,即每 20 条通过共识校验的任务里至少有 1 条的事后众数与参考解不一致。若低于 1%,说明既有共识校验已经足够紧,参考答案那条证据作废,第五步取消;若高于 20%,则共识校验的阈值设置本身需要重估,这比 ν\nu 的中等取值更有价值。
  • P4:一步滞后落差 ∣ℓ∣|\ell| 的中位数不低于 0.10。若低于 0.02,滞后不是问题,μ^post\hat\mu^{\mathrm{post}} 替换退化为等价操作。
  • P5:完整方案在等预算下把复现版 productive rate 相对 SynCo 基线提升不少于 3 个点。提升不足 1 个点则两阶段抽样的成本不成立。
  • P6:SynCo 原 productive rate 的 seed 间极差不小于 2 个点,即原报告的 +0.8 个点差值落在噪声内。极差小于 0.5 个点则功率论证不成立,改走其他口径。

定性目标是给出一张合成课程的「可教质量」报表:κˉ\bar\kappa、νˉ\bar\nu、ℓˉ\bar\ell 三项随训练步数的曲线,替代目前只有单次二值化承载率的做法。若 P1 成立,论文的课程演进结论需要重新表述——承载率下降 31.3%→9.5% 不再能读作「前沿在被消耗」,因为起点处的 31.3% 本身就含大量噪声。若 P3 成立,数学合成数据里的参考答案需要一条外部锚,这会波及所有以自生成答案为正确性参照的 RLVR 管线。

两条关于 P1 的分辨率说明需要事先写死。第一,P1 的判定样本不是 2,940 条,而是被筛查组判为承载的那一批,约 475 条(16.2%)。κˉ\bar\kappa 在其上的二项标准误约 2.3 个点,足以区分 0.45 与 0.70,不足以区分 0.45 与 0.52;因此 P1 的终止线要按「κˉ≥0.70\bar\kappa \ge 0.70」而不是「κˉ>0.50\bar\kappa > 0.50」来设。第二,P1 若不成立(κˉ≥0.70\bar\kappa \ge 0.70),只说明池子里确有中间带,不能反过来证明 31.3%→9.5% 的下降完全真实——课程演进那张图仍可能同时叠加了真实的中间带收缩与二项噪声的减少。因此本方案的结论要拆成两半分别报告:全对比例上升(34.4%→59.9%,方向稳健、不受二值化影响)与承载比例下降(31.3%→9.5%,受二值化污染)。论文把两者合并读作「任务越来越 uniformly solvable」,其中只有前半句是稳的。

相关工作

R-Zero: Self-Evolving Reasoning LLM from Zero Data(arXiv:2508.05004,2025-08)初始化 Challenger 与 Solver 两个策略,通过任务生成与解题反馈共同演化。SynCo 在相关工作里点明两者的差别是同批联合优化与跨阶段交替更新,本方案沿用其联合设定。

arXiv:2509.24726 —— Socratic-Zero: Bootstrapping Reasoning via Data-Free Agent Co-evolution(2025-09)引入 Teacher / Solver / Generator 三角色,按诊断出的学习者弱点构造递进的数学课程。它的难度递进由角色分工给出,未涉及承载判据的复现。

Agent0: Unleashing Self-Evolving Agents from Zero Data via Tool-Integrated Reasoning(arXiv:2511.16043,2025-11)把工具集成推理纳入课程—执行者共同演化,让生成任务随执行者能力推进。RGBC 的 κ\kappa 可以直接挂在这条管线的任务准入处。

arXiv:2511.10395 —— AgentEvolver: Towards Efficient Self-Evolving Agent System(2025-11)面向效率的自演化智能体系统,与 SynCo 同属 agent–data 互相演化的路线。其任务池的准入与淘汰规则同样是本方案证书的适用位置。

SynCo: Data Synthesis Co-Training for Self-Evolving LLMs via Multi-Agent Reinforcement Learning(arXiv:2610.11345,2026-10-08)是本提案直接审视的对象,提供了全部基线数字、奖励定义与课程分析框架。它同时把 R-Zero 列为表 1 的基线之一(73.58%),因此本方案的证书口径可以直接在 R-Zero 的 Challenger–Solver 输出上复算,两个框架的可教前沿可横向比对。

局限性与失效模式

七条边界,前三条是本方案自身的,后四条是它与 SynCo 共享的。

一、ν\nu 覆盖不到贡献最大的那批任务。 论文摘要自陈增益「主要来自此前未解出的题目」,表 2 的分解也显示 learn 组(初始答错)的净增远大于 retain 组——GSM-Hard 上 learn +21 对 retain +6(净 +27)、MATH-500 上 +9 对 +2(净 +11)、池化 +45 对 +11(净 +56),全部 56 条净增里有 45 条来自 learn 组。而 ν\nu 只在 0<μ^<10<\hat\mu<1 上定义,全错任务(池级 33.8%)进不了它的分母。结果是:本方案对参考答案质量的审计,恰好覆盖不到对下游增益贡献最大的那一半任务。硬任务只能单独进「无真值切分」,不池化——这意味着 νˉ\bar\nu 是一个条件于承载的指标,报告时必须写明条件。

二、κˉ\bar\kappa 的聚类结构未被标准误吸收。 同一批 32 条任务共享同一份 Synthesizer 参数与同一个合成上下文 ctc_t,批内相关;且 κ\kappa 只在被筛查判为承载的任务上定义,存在选择性推断。简单二项区间会偏窄,P1 的判定应当用任务层(乃至批层)聚类稳健标准误,或改用批级 bootstrap。

三、P2 是必要条件而非充分条件。 双峰零模型能复现两组三分量,只证明现有数字不足以区分两种世界,不证明池子真的双峰。即使 P2 通过,仍需 P1 的 κˉ\bar\kappa 直接测量才能定案;反之若 P2 不通过(误差 > 5 个点),不可辨识论证本身作废,此时第一步的输出应当改为「报告池级 p^\hat p 的分布形状」,而不是继续走两阶段抽样。

四、+17% 的预算增量依赖触发率的稳定性。 触发第二组的概率是 Pr⁡[g1=1]≈16.2%\Pr[g_1=1]\approx16.2\%,由筛查判据决定、与 κˉ\bar\kappa 无关,因此这个估算不依赖 P1 是否成立——这是它相对稳健的一面。但它假设第二组与筛查组等长(各 K=4K=4);若后续把确认组加长到 K=8K=8,增量升至约 32%,P5 的「不少于 3 个点」需要同步上调。

五、离策略与时间滞后。 pre 组用于 Reasoner 更新、post 组只用于 Synthesizer 奖励,这一分离避免了同一批 rollout 被两个目标同时消费,但把 Synthesizer 的梯度在时间上推迟了一步。UnityMAS-O 的同批同步更新假设是否容忍这个错位,需要实测;若不容忍,退化方案是把 μ^post\hat\mu^{\mathrm{post}} 换成两步滑动平均,代价是 P4 的 ∣ℓ∣|\ell| 被平滑掉。

六、K=4K=4 对 SynCo 与对本方案是同一个约束。 本方案没有增加单组 rollout 数,只是把组数从 1 增到 2。若真实可教带的宽度使得 K=4K=4 连方向都测不准,那么 2K=82K=8 也只把分辨率从三档(T∈{0,0.5,1}T\in\{0,0.5,1\})提到五档。彻底的解法是把 KK 提到 8–16 并改用连续优势幅度 adv^i\widehat{\mathrm{adv}}_i,本方案的第三步应当把 KK 作为一个独立臂,而不是固定值。

七、审稿口径风险。 本方案的全部证据都是对 SynCo 已公开统计的重分析,没有新训练;P1–P4 可在零 GPU 训练下完成,但 P5、P6 需要复现 100 步三臂训练(论文用两组 8-GPU worker)。若只做到 P1–P4,本方案的定位是「度量批判 + 仪器」,不能声称对下游增益有任何主张。

引用核验记录

引用对象核验项来源结果
SynCo(arXiv:2610.11345)标题逐字匹配abs 页 citation_title✅ 完全一致
SynCo11 位作者、v1 2026-10-08abs 页 citation_author / Submission history✅ 11 人、[v1] 2026-10-08
表 1 主结果78.72% / +3.76 / +2.87 / +6.36HTML 正文 §4.1 与表 1✅ 全部命中(另得 Vanilla 72.36、ScaleQuest-Math 74.96、Frozen 75.85)
附录 C.3每轮 32 条任务、K=4K=4、GRPO、Qwen3-8BHTML 附录 C.3✅ 逐字命中
附录 B.2 式 (23)–(25)门控奖励式、G(v)G(v)、T(μt)T(\mu_t) 闭式HTML 附录 B.2✅ 逐字命中,本次新增
附录 B.2Reasoner 奖励 1.0 / 0.9 / 0HTML 附录 B.2✅ 逐字命中
附录 D 表 516.2% / 475 条、33.8% / 994 条、50.0% / 1,471 条HTML 正文与附录✅ 全部命中
图 2 / §4.331.3%→9.5%、34.4%→59.9%、可教性 0.206→0.060、novelty 0.659→0.775HTML §4.3✅ 全部命中
§4.4 图 362.3%(3.9×)/ 64.6%(4.0×)/ 12.8% / 12.0%HTML §4.4✅ 全部命中
§4.5「r=0.934r=0.934 … by construction」HTML §4.5 正文✅ 命中,订正出处为正文而非附录
§4.4 末尾「reranks an already collected task pool … diagnostic rather than causal」HTML §4.4✅ 逐字命中
表 6novelty r=−0.041r=-0.041、可教性 vs 原始成功率 r=−0.028r=-0.028HTML §4.4✅ 命中
表 7 / §4.5630 / 1,926 / 363 条,SR 0.625 / 0.607 / 0.484,承载 16.8% / 16.0% / 16.0%,精度 16.8%、召回 22.3%、r=0.009r=0.009HTML 表 7✅ 全部命中
图 522.8% vs 4.1% / 10.9% / 9.4%,2.1–5.5×HTML §4.7✅ 全部命中
表 313.7%→14.5%、4.38→4.64、steps 13–70、更新 −1.5%、墙钟 +0.6%、接受率 91.9%(3,200→2,940)HTML 表 3✅ 全部命中(另在表 3(a) 复核得中位数更新时间差 −0.9%)
表 3 配套统计13.7% / 14.5% 在 n=1,856 上的二项标准误 0.80 / 0.82 个点,差值标准误 1.14 个点,+0.8 pp ≈ 0.70 SE终审独立复算✅ 复算一致
图 3 富集口径top-quartile 样本量 2,940×0.25 = 735 条,62.3% 的二项标准误 1.79 个点终审独立复算✅ 与正文「约 1.8 个点」一致
P1 分辨率判定样本 475 条(16.2%)上的二项标准误 2.29 个点终审独立复算✅ 与正文「约 2.3 个点」一致
双峰零模型拟合末桶参数 p∈{0.98,0.0334}p\in\{0.98, 0.0334\} 权重 64.94/35.06 → 59.9 / 9.5 / 30.6;首桶 p∈{0.9001,0.0787}p\in\{0.9001, 0.0787\} 权重 52.4/47.6 → 34.4 / 31.3 / 34.3终审独立复算⚠️ 原参数 0.033 / 0.079 复现为 30.7 / 31.4,已按四位小数订正
表 2 learn/retain 分解GSM-Hard learn +21 vs retain +6(净 +27)、MATH-500 +9 vs +2(净 +11)、池化 +45 vs +11(净 +56)HTML 表 2 与附录 D.3❌ 原文把「净增 Net」列误当作 learn 列(写成 +27 vs +6 / +11 vs +2 / +56 vs +11),已订正
共识校验「independent consensus check … reject tasks whose inferred answers do not support the reference」HTML §3.2、附录 B.2、C.3✅ 三处命中,据此订正「无外部锚」表述
R-ZeroarXiv:2508.05004SynCo 参考文献✅ 命中(并列为表 1 基线,73.58%)
Socratic-ZeroarXiv:2509.24726SynCo 参考文献✅ 命中
Agent0arXiv:2511.16043SynCo 参考文献✅ 命中
AgentEvolverarXiv:2511.10395SynCo 参考文献✅ 命中
误差棒 / 第二种子「error bar」、随机种子HTML 全文0 命中,✅ 论断成立
Limitations 章节「Limitations」「Broader Impact」HTML 全文0 命中,✅ 论断成立

终审记录(2026-10-11)

终审独立回源 arxiv.org/html/2610.11345v1(565 KB HTML,剥离后 109,664 字符),逐条复核本篇全部对 SynCo 的事实引用,结论 ✅ PASS,改 revised。

终审动作内容
🔴 订正局限性第一条的表 2 分解:原文把 Net(净增)列当作 learn 列。真实值为 GSM-Hard learn +21 / retain +6(净 +27)、MATH-500 +9 / +2(净 +11)、池化 +45 / +11(净 +56)。结论方向不变,数字已改
🔴 订正双峰零模型的两组参数按复算取四位小数:末桶 0.98/0.03340.98 / 0.0334(权重 64.94 / 35.06)、首桶 0.9001/0.07870.9001 / 0.0787(52.4 / 47.6)。原 0.033 / 0.079 复现为 30.7 / 31.4,与「逐位吻合」差 0.1 个点
✅ 复核通过五个 arXiv 编号(2610.11345 / 2508.05004 / 2509.24726 / 2511.16043 / 2511.10395)abs 页 citation_title 逐字匹配;SynCo 作者数 11、v1 2026-10-08
✅ 复核通过表 1 主结果 78.72 / 75.85 / 74.96 / 72.36 与六个差值;「best or tied-best on six of the eight benchmarks…second on the remaining two」为论文原句
✅ 复核通过附录 D 表 5 池级三分量 475 / 16.2%、994 / 33.8%、1,471 / 50.0%;表 7 三档难度 630 / 1,926 / 363 与承载率 16.8 / 16.0 / 16.0;精度 16.8%、召回 22.3%、r=0.009r=0.009
✅ 复核通过表 3 的 Δ 行 −1.5% / +0.6% / +0.8 pp / +0.26 与 steps 13–70;表 3(a) 补得中位数更新时间差 −0.9%,正文该括注成立
✅ 复核通过训练配置:Qwen3-8B 两份独立副本、GRPO(UnityMAS-O)、每轮 32 条任务、K=4K=4、温度 1.0 / 0.9;接受率 91.9%(3,200 → 2,940)
✅ 复核通过by construction 确在正文 §4.5(非附录);consensus check 在 §3.2、附录 B.2、C.3 三处命中,「强自洽锚而非外部锚」的订正成立
✅ 独立复算二项标准误 0.80 / 0.82 / 差值 1.14 个点,+0.8 pp ≈ 0.70 SE;top-quartile 735 条上 62.3% 的标准误 1.79 个点;475 条判定样本上标准误 2.29 个点——三处与正文一致
⚪ 标签对齐补入平台高频标签 RLVR(87 篇)、数据合成(25)、自进化智能体(19),现 11 个标签
⚪ 关联补全新增 3 条 relatedContent:记录级可辨识性证书(相关,同族——同样以「可辨识性证书」重构一个被单次抽样二值化的统计量)、AI 自主进化数据建设(前置,自演化数据建设的整体框架)、可学性权重池依赖(相关,近邻——可学性权重的池依赖与绝对标定)。注:relation 字段是受控枚举(深入/相关/前置/后续/反驳),描述性说明只能落在正文,本表即为承载处