SQRC：把规则合成搜索 Agent 环境的捷径体检从事后读轨迹前移为生成期证书与捷径预算配比

背景与动机

训练搜索 Agent 的瓶颈已经从优化器移到环境来源。PhantomEnvironments（2609.40221，Cornell 八位作者，v1 2026-09-30）给出第三条路：语料是模板文章，问题由上下文无关文法抽样，每题挂一条 Prolog 查询取 gold 答案，生成环节里既没有人类也没有 LLM，边际成本为零。四个模型（Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct、Llama-3.2-3B-Instruct、Phi-4-mini-instruct）在 55K 条虚构世界问题上做 GRPO 全参微调后，三个 Wikipedia-2018 系基准平均提升 1.7 倍，三个更新更难的基准平均提升 2.2 倍，Llama-3.2-3B-Instruct 在 SynthWorlds-SM 上从 3.8 F1 走到 27.0。与真实环境头对头比较时，Search-R1 的 NQ+HotpotQA 55K 子集在域内三个基准上领先（Qwen2.5-3B 平均 56.7% 对 52.2%），在 2023 年之后快照派生的三个基准上落后（32.1% 对 28.4%）；真实训练把 Knowledge Advantage 间隙从 8% 拉宽到 11%，规则训练把它压到 0%。

这条路线的代价是复杂度旋钮被交到实验者手里，而旋钮自己会长出捷径。论文的消融给出一组反直觉结果：在纯线性跳数（Hops）之上叠加属性约束（Hops +Constraints）反而比 Hops 更差。附录 B.1 把原因追到一条具体行为——带出生日期、职业这类稀有属性的问题信息量高，把整道题原样粘成一条稠密检索查询，稀有属性本身就把候选集收窄到 gold 文档，Agent 于是不必逐跳解析，整题一次检索加若干次近义改写即可拿到答案。这个行为在训练里成立，被原样带到测试。真实基准很少带这类信息富集的属性过滤，MuSiQue 上同一道题的对照轨迹里，走原样检索的那条选错答案，走分解的那条先定位 Valotte 的演唱者再追问 McCartney 为谁写歌，才答对。

现有方案不够好的地方有三处，彼此独立。捷径是事后读出来的：B.1 的证据形态是训练结束后从 MuSiQue 取一对轨迹逐字比对，而两块 B200 跑两天、四个模型、两个 seed 的预算已经花掉。唯一的事前过滤是一张手写排除表：附录 A.4 明写 aggregation 类问题（“how many…”）因为 easy to reward-hack 被整体滤掉，这一条靠直觉圈定题型，只覆盖一类，真正咬人的约束题型不在表内。判捷径需要的原料生成器早就备齐：每题的 Prolog 查询给出 gold 链与承载答案的文档，训练检索器是确定的 intfloat/e5-base-v2 加 flat FAISS、top-3。论文确实用过「生成期已知」这一事实，第四节开篇写 At environment generation time, question difficulties is known，并据此画出 Qwen 的 search scaling 曲线；同一份生成期知识没有用在捷径上。对全文做关键词计数，audit、oracle、BM25、IDF 四个词命中均为 0——2026-10-01 在 arxiv.org/html/2609.40221v1 全文上逐个复核，四个计数确实全部为 0，论文通篇没有出现检索审计或词频基线这一侧的讨论。

A.4 的排除规则在原文里是同一句话给出的：aggregation questions ("how many…") are filtered out (easy to reward-hack), and gold answers are obtained by executing the Prolog query attached to each...。也就是说，作者在同一处既承认了「可奖励黑客化」这一类风险，又只按题型名而非按可检索性去圈定它——这正是 SQRC 要补的那一维。

缺口可以压缩成一句话：生成期知识被签给了难度分析，没有签给捷径体检，而捷径体检恰恰是这批环境里唯一不需要训练就能算的量。

核心思路

提出 SQRC（单查询可检索性证书）。对规则合成环境里每条生成的问题 $q$，在其自身索引与训练检索器 $R_{\text{train}}$ 下，用题目原文作唯一查询，检查承载答案的 gold 文档 $d^{\ast}(q)$ 是否落在 top-$k$（$k=3$，与训练配置一致）内：

$\kappa(q) = \mathbf{1}\big[d^{*}(q) \in \mathrm{Top}_k(q_{\text{text}}; R_{\text{train}})\big]$

$\kappa=1$ 意味着这道题可以不做任何分解就取回答案，环境对「分解」这项技能的梯度压力被削掉。把同样的量在真实探针集上算一遍得 $\kappa_{\text{probe}}$（CofCA 与 2WikiMultihopQA 自带 gold 段落，可直接算），定义捷径迁移落差

$\Delta\kappa(\text{config}) = \bar\kappa_{\text{env}}(\text{config}) - \kappa_{\text{probe}}$

$\Delta\kappa$ 大表示环境在教一条评测端不成立的策略。整套计算只用到检索调用，不占用训练算力。

证书本身是一次 top-$k$ 检索加一条记账，可以在采样循环里原地完成：

# shortcut_certificate.py —— 单查询可检索性证书 κ，生成期计算
def certify(question_text, gold_docs, retriever, k=3):
    """
    question_text : 题目原文，不做任何改写或分解
    gold_docs     : Prolog 查询给出的承载答案文档集合（可多答案）
    retriever     : 训练检索器 e5-base-v2 + flat FAISS，与训练配置一致
    return        : (kappa, rank, margin)；gold 不定时返回 (None, None, None)
    """
    if not gold_docs:
        return None, None, None                       # NA，不进统计
    hits = retriever.search(question_text, top_k=50)  # 取回名次与得分
    ranks = [h.rank for h in hits if h.doc_id in gold_docs]
    if not ranks:
        return 0, None, None                          # κ=0：必须分解才拿得到
    best = min(ranks)
    return int(best <= k), best, float(hits[0].score - score_of(hits, best))

主指标取「gold 文档全部落在 top-$k$」，副指标取「至少一条命中」，两者必须在跑之前固定——多答案题在 Prolog 下是常态，不固定会让 $\bar\kappa$ 随抽样漂移。

SQRC 与现有工作的关键区别分三条。

SQRC 与现有工作的关键区别分三条。PhantomEnvironments 自己已有一条事前捷径过滤，形态是手写题型排除表；SQRC 把它泛化成逐题、按检索器索引的可计算证书，并把生效时点从「训练后读轨迹」前移到「采样阶段」。SynthWorlds（2510.24427）的镜像对设计（RM/SM 共用同一张图、只替换真假实体，从而分离记忆与推理）在这里被改造成约束镜像对：同一条关系链、同一跳数，只切换属性过滤的有无，让捷径可得性成为唯一自变量；论文现有的 Hops 对 Hops +Constraints 消融同时改了题型分布与捷径可得性，两者没被拆开。GSM-Infinite（2502.05252）一类程序化环境把复杂度当难度刻度用，SQRC 把同一批旋钮当成捷径暴露面来审计。

技术路线

第一步，证书计算。对 Hops、Hops +Comparisons、Hops +Constraints 三个池各约 55K 题，用训练检索器跑题目原文单查询，记录 $d^{\ast}$ 的秩与得分，产出三字段账本：二值 $\kappa(q)$、秩 $\mathrm{rank}(q)$、边际 $\mathrm{margin}(q)$（$d^{\ast}$ 与首位的得分差）。Prolog 无解或 gold 答案不唯一导致 $d^{\ast}$ 不定时记 NA，不进统计。

第二步，镜像对构造。对同一条抽样关系链生成 plain 与 constraint-augmented 两个变体，跳数与链结构完全相同，只差属性过滤。该步骤带前置门禁：实测若 $\bar\kappa(\text{constraint}) - \bar\kappa(\text{plain}) < 0.3$，则「约束轴通过捷径起效」这一归因不成立，方案终止。

第三步，探针集标定。在 CofCA 的 500 题（208 条已标 comparison，223 条按论文 A.6 的正则脚本补标）与 2WikiMultihopQA（119 条标 comparison）上用评测检索器 Qwen3-Embedding-4B 算 $\kappa_{\text{probe}}$，得到题型乘类别的基线表。

第四步，捷径预算约束下的轴配比。把候选池按 (axis, category, $\kappa$-bucket) 切格，解一个两目标配比问题：一侧让题型分布匹配探针集估计的真实类别分布 $\hat p(c)$（论文已证明 Hops +Comparisons 能打中它对应的真实类别，这是匹配项存在的依据），另一侧约束 $\sum_g w_g \bar\kappa_g \le \rho_{\max}$，其中 $\rho_{\max} = \kappa_{\text{probe}} + \epsilon$。$\rho_{\max}=1$ 且不做匹配时，配比严格退化为论文的均匀 50/50。

第五步，训练与验证。沿用论文配方（GRPO、XML 标签、F1 奖励、1 epoch、两个 seed、55K 预算、SkyRL），跑四臂：A 为论文 Hops 基线的复现，B 为只做类别匹配，C 为只加捷径预算，D 为两者都做。再加一条安慰剂臂：把 $\kappa$ 标签随机打乱后重解配比，用来分离「证书有效」与「重新加权有效」。

关键技术挑战有五处。检索器依赖：训练用 e5-base-v2、评测用 Qwen3-Embedding-4B，证书必须按检索器索引并报告跨检索器 $\kappa$ 的方差，某题型在训练检索器下 $\kappa=1$ 而在评测检索器下 $\kappa=0$ 正是 $\Delta\kappa$ 要抓的情形。gold 不唯一：Prolog 允许多答案，主指标取「gold 文档全部命中」，副指标取「至少一条命中」，须预先固定。网格稀疏：论文已按 (hops, constraints) 二维网格做 cell-balanced 降采样，加进 $\kappa$ 维度后网格变三维，最小格可能过小，需沿用论文在 Hops +Comparisons 上用过的 4 倍软上限。覆盖范围有限：aggregation 类捷径（可数答案可猜）不属于检索型，SQRC 覆盖不到，须显式声明而不声称通用。证书本身被绕过：配比后的环境可能长出新捷径，训练中在线监控「首轮查询与题目字面重合率」$\mu$ 作为哨兵。

预期成果

定量目标写成六条可证伪预测。P1：三个池的 $\bar\kappa_{\text{env}}$ 排序为 Hops +Constraints 明显高于 Hops +Comparisons 与纯 Hops，且 Hops +Constraints 的 $\bar\kappa_{\text{env}} \ge 0.5$；低于 0.2 则本文对约束轴的归因错误，方案终止。P2：把三个配置与镜像两臂共五个点拿来排，$\Delta\kappa$ 与六基准平均 F1 增益的 Spearman 相关系数 $\le -0.5$。P3：D 臂在 CofCA 与 2Wiki 的 comparison 子集上不低于论文 Hops +Comparisons，在 non-comparison 子集上不低于纯 Hops——论文观察到这两个配置各自只赢一半。P4：D 臂在 SynthWorlds-SM 上相对论文 Hops 基线 $+1.0$ 到 $+2.0$ F1，且 KA 间隙维持在 0%。P5：镜像两臂训练后在 MuSiQue 上的首轮原样检索率 $\mu$ 之差 $\ge 20$ 个百分点，证明行为差异由 $\kappa$ 因果引起而非由题型分布引起。P6：安慰剂臂与 D 臂相差 $\ge 1.0$ F1，否则收益来自重加权而非证书。

定性影响有两层。方法层：规则合成环境的承诺是「零成本、可验证、可控」三条，论文兑现了前两条，第三条被约束轴反噬；把旋钮从经验调参变成带预算的可审计设计面，这条路线才真正闭合。迁移层：凡是「问题由程序生成、gold 链已知、检索器已知」的环境都能零成本套用这套体检，PhantomWiki 派生环境、程序化推理环境、程序化代码环境都在射程内。

相关工作

1. Anmol Kabra et al., PhantomEnvironments: Training LLM Agents in Fictional Worlds, 2026-09-30. https://arxiv.org/abs/2609.40221
2. Ken Gu et al., SynthWorlds: Controlled Parallel Worlds for Disentangling Reasoning and Knowledge in Language Models. https://arxiv.org/abs/2510.24427
3. Albert Gong et al., PhantomWiki: On-Demand Datasets for Reasoning and Retrieval Evaluation, 2025-02-27. https://arxiv.org/abs/2502.20377
4. Bowen Jin et al., Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning, 2025-03-12. https://arxiv.org/abs/2503.09516
5. Anmol Kabra et al., Learning from Synthetic Data Improves Multi-hop Reasoning, 2026-03-02. https://arxiv.org/abs/2603.02091

验证边界

六条预测里有两条是终止条件：P1 若出现 $\bar\kappa_{\text{env}}(\text{Hops+Constraints}) < 0.2$，说明约束轴的伤害不是经由捷径发生的，本文的因果链从源头就错了；镜像对门禁若出现 $\bar\kappa(\text{constraint}) - \bar\kappa(\text{plain}) < 0.3$，同理终止。这两条必须在训练开始前就判完，它们只用检索调用，成本可以忽略。

三条必须写进论文的局限性：证书覆盖不到非检索型捷径（aggregation 类「可数答案可猜」不在射程内，只声明不声称通用）；$\kappa$ 依赖训练检索器的索引，换检索器必须重算并报告方差；配比后的环境仍可能长出新捷径，因此 $\mu$（首轮查询与题目字面重合率）是常驻哨兵而非一次性检查。