论文精读

精读：GEAR——证据感知奖励塑形克服长上下文推理的重复复制

揭示长上下文推理中思维模型的重复复制失败模式，提出证据感知奖励塑形方法GEAR，最高+4.6平均分提升

论文： Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning

作者： Lizhe Fang, Weizhou Shen, Tianyi Tang, Yisen Wang

arXiv： 2607.19345

2026年7月24日长上下文推理强化学习奖励塑形证据定位重复复制 RLVR 思维模型

1 论文概览

一句话总结： 揭示前沿长上下文推理模型普遍存在的”重复复制”失败模式——模型将大量输入文本原封不动抄入推理轨迹而非真正推理——并追溯根因为证据定位不足，提出证据感知奖励塑形方法 GEAR，在5个基准上最高+4.6平均分提升。

核心问题： 当思维模型（thinking models）处理长上下文推理任务时，存在一个此前未被系统性识别的关键失败模式：重复复制（repetitive copying）。模型不是在推理轨迹中执行有效的多步推导，而是大量将输入文本逐字复制到思维链中。这在 Qwen3.5-9B 的 64k 上下文下尤为严重——超过 50% 的 10-gram 窗口来自对输入的逐字拷贝，且随上下文长度增加而加剧。

主要贡献：

首次系统性识别重复复制失败模式——跨7个前沿长上下文LLM验证（Claude-Opus-4.5、DeepSeek-V3.2、Qwen3.5-Plus、GLM-4.7、QwQ-32B等），证明该现象普遍且随上下文长度加剧
根因诊断：证据定位不足——通过将提示精确分解为关键证据与干扰内容，证明正确回答的样本具有更高的证据接地比率（grounding ratio），核心不是”是否复制”而是”复制是否定位到任务相关证据”
提出 GEAR 奖励塑形方法——在准确率信号上增加关键证据重叠奖励和干扰内容重叠惩罚，引导模型学会区分相关与不相关信息
构建自动证据标注管道——三阶段流水线从任意文档生成证据标注QA对，使方法可扩展至自然语言数据，不依赖人工标注
跨规模、跨基准一致提升——3个模型规模×5个基准，泛化至4倍于训练分布的上下文长度（128k），同时降低重复复制率和思考长度

2 方法详解

架构/方法概述

GEAR（Grounding Evidence-Aware Reward）的核心思想极其简洁：标准 RLVR 的准确率奖励是二元的——答对给1分，答错给0分。这提供了关于”结果是否正确”的信号，但对”推理过程是否有效利用了输入信息”完全沉默。 GEAR 在此基础上增加两个互补组件：

$R(x,y) = R_{\text{acc}} + \alpha \cdot \text{Overlap}_n(y \| x_{\text{key}}) - \beta \cdot \text{Overlap}_n(y \| x_{\text{dist}})$

其中：

$R_{\text{acc}} \in \{0, 1\}$ 是二元准确率奖励
$\text{Overlap}_n(y \| x_{\text{key}})$ 是推理轨迹与关键证据的 n-gram 重叠度（接地奖励）
$\text{Overlap}_n(y \| x_{\text{dist}})$ 是推理轨迹与干扰内容的 n-gram 重叠度（干扰惩罚）
$\alpha = 0.1, \beta = 0.3, n = 3$

关键设计直觉：惩罚权重（β=0.3）三倍于奖励权重（α=0.1）——“不乱抄”比”抄对地方”更重要，因为无差别复制是更根本的问题。

关键创新点

1. 诊断→设计闭环：从现象到根因到方法

论文的方法设计完全由诊断驱动。作者首先在7个模型上观察到重复复制现象，然后通过 GSM-Infinite 基准的精确控制将提示分为关键证据和干扰内容，发现核心差异在于接地比率：

$r = \frac{\text{Overlap}_{10}(y \| x_{\text{key}})}{\text{Overlap}_{10}(y \| x_{\text{dist}})}$

正确样本具有更高的接地比率——它们复制了更多关键证据、更少干扰内容。这一发现直接推导出 GEAR 的双组件奖励设计。

“The root cause is insufficient grounding: models copy from the prompt indiscriminately, and those that fail to focus on key evidence are far more likely to answer incorrectly.”（原文摘要）

2. 互补性奖励的必要性与充分性

消融实验揭示了一个反直觉但极有洞见的发现：仅使用接地奖励（ $R_{\text{ground}}$ ）反而有害——最多下降 8.3 分。原因是模型被激励增加与关键证据的重叠，但为了达到更高的重叠度，它选择复制更多内容（包括干扰项），因为复制整体文本自然包含了关键证据片段。

这证明两个组件必须同时使用：

接地奖励告诉模型”引用关键证据是好的”
干扰惩罚告诉模型”乱抄无关内容是坏的”
两者结合使模型学会区分相关与不相关——这正是纯准确率奖励无法提供的信号

3. 自动证据标注管道：从合成到自然语言

GEAR 在合成基准（GSM-Infinite、PhantomWiki）上可直接使用，因为证据位置已知。但要在真实场景落地，需要为自然语言数据构建证据标注。论文设计了三阶段管道：

阶段1（文档分析）：LLM 分析文档信息特征，过滤不适合 QA 的内容
阶段2（证据约束QA生成）：文档分割为1024字符块，随机采样1-3个块作为约束上下文（关键证据），LLM 仅基于约束上下文生成问题、证据引用和答案
阶段3（答案验证）：仅使用约束上下文独立重新回答，保留一致QA对

这一设计的关键约束：答案限制为单值响应（数字或实体短语），排除是/否问题——确保答案确实需要定位特定证据。

与基线方法的区别

方法	奖励信号	过程指导	证据感知	需要过程标注
GRPO/GSPO（准确率奖励）	二元正确性	❌ 无	❌ 无	❌
PRM（过程奖励模型）	步级正确性	✅ 但需训练PRM	❌ 无	✅ 需要步级标注
RaR（推理即奖励）	自评信号	✅ 隐式	❌ 无	❌
GEAR	准确率+证据接地-干扰惩罚	✅ 证据级	✅ 关键vs干扰	❌ 仅需证据位置

GEAR 的独特定位：不需要步级人工标注（PRM的开销），不依赖自评信号（RaR的可靠性问题），只需要知道”哪些输入内容是关键证据”——这可自动化获取。

3 实验结果

主要指标

核心评估在 5 个长上下文基准上进行：GSM-Infinite（8k/16k/32k/64k）、PhantomWiki、Ruler、LongBench-v2、LongBench-QA。使用 3-gram 和 10-gram 重叠率量化重复复制程度，同时跟踪思考长度（token 数）。

与 SOTA 的对比

32k 上下文下的平均提升（训练分布内）：

模型	GSPO 基线	GSPO + GEAR	提升
Qwen3.5-9B	78.5	81.3	+2.8
Qwen3.5-35B-A3B	80.2	82.3	+2.1
Qwen3.5-27B	80.6	82.1	+1.5

128k 上下文下的平均提升（4倍于训练分布——OOD泛化）：

模型	GSPO 基线	GSPO + GEAR	提升
Qwen3.5-9B	70.2	74.8	+4.6
Qwen3.5-35B-A3B	73.4	76.2	+2.8
Qwen3.5-27B	75.3	77.4	+2.1

关键观察：上下文越长，GEAR 的增益越大——32k 下 +2.1~~2.8，128k 下 +2.1~~4.6。这完全符合预期：重复复制随上下文长度加剧，因此证据感知奖励在更困难的场景下价值更大。

重复复制与思考长度的双重改善（Qwen3.5-35B-A3B, 32k）：

基准	指标	Base	GSPO	+R_ground	+GEAR
Ruler	重叠率	36.9%	35.7%	36.6%	27.0%
Ruler	思考长度	4290	2808	5727	2066
LongBench-v2	重叠率	24.9%	27.2%	28.5%	22.6%
LongBench-v2	思考长度	5657	4677	6833	3989

GEAR 同时实现了三个目标：更高准确率、更低重叠率、更短思考长度——提质、去冗、提效三得。

消融实验关键发现

1. 接地奖励单独使用有害（最反直觉的发现）

设置	32k 提升	128k 提升
仅 +R_ground	-5.1	-8.3
仅 -R_dist	+0.5	+0.8
+GEAR（完整）	+2.8	+4.6

这组消融是最有理论洞见的部分。仅加接地奖励使模型倾向于复制更多内容以覆盖关键证据，导致重叠率不降反升（从35.7%→36.6%）、思考长度膨胀（从2808→5727）。奖励设计不是”越多越好”，两个组件缺一不可。

2. 奖励系数敏感性

$\beta$ 不能太小： $\beta=0.1$ 时性能下降 2.9 分
$\alpha=0.1, \beta=0.3$ 为最优
$\beta$ 增至 0.5 仅轻微下降（80.5），模型对强惩罚容忍度高但对弱惩罚不耐受
这进一步验证了”不乱抄比抄对更重要”的设计直觉

3. 重复复制与准确率的阈值效应

在 7 个前沿模型上观察到一致的负相关模式：当 3-gram 重叠率超过 ~0.4 时，准确率从 55-64% 骤降至 11% 甚至 0%。这不是线性衰减而是阈值崩塌——一旦模型进入”复制而非推理”的模式，性能急剧恶化。

4. 接地比率的区分性

正确样本的接地比率显著高于错误样本（5/7 模型验证，Claude 例外因其整体复制率极低）。正确样本同时具有更高的关键证据重叠和更低的干扰内容重叠——问题不在于”是否复制”而在于”复制是否定位到证据”。

4 个人分析

亮点

1. 诊断先行的方法论典范

这篇论文最值得学习的不是 GEAR 方法本身（它极其简单——只是在奖励函数上加两项n-gram重叠度），而是从现象诊断到根因分析到方法设计的完整闭环。先在7个模型上确认重复复制的普遍性，再用 GSM-Infinite 精确控制区分关键证据和干扰内容定位根因，最后才设计奖励函数。这种”先诊断、后开药”的思路远优于”先设计、再验证”。

2. 问题重新定义的范式价值

此前长上下文推理的研究焦点主要在检索能力（Needle-in-a-Haystack）和上下文窗口扩展技术（KV Cache 压缩、滑动窗口等）。这篇论文将焦点从”模型能否看到长上下文中的信息”转移到”模型能否有效利用看到的信息”——从可见性到可用性的范式转换。

3. 反直觉消融的理论深度

仅使用接地奖励反而有害这一发现具有深刻的理论含义：它揭示了一个奖励信号的竞争动态——当奖励鼓励”与证据重叠”而不惩罚”与干扰重叠”时，模型找到了一条捷径（复制全部输入），这条捷径在奖励维度上是最优的但在任务维度上是次优的。这与本专栏前期的 Spurious Rewards（裁剪偏置放大预训练先验）和 Alignment Tampering（偏好标注无法区分质量与偏见）形成跨领域呼应——奖励函数的局部最优不等于任务的全局最优。

4. OOD 泛化的长度增强效应

GEAR 在训练分布（16k-32k）上提升 +2.8，但在 4 倍训练分布（128k）上提升 +4.6。这种”训练时短、推理时长反而增益更大”的现象说明 GEAR 不是在拟合特定长度模式，而是教给了模型一种长度无关的元技能——区分关键证据与干扰内容。这是比长度特定改善更有价值的泛化形式。

局限性

1. 证据标注的可扩展性瓶颈

虽然论文提出了自动标注管道，但管道本身依赖 LLM 来分析文档、生成问题和验证答案——这意味着 GEAR 的质量受限于标注 LLM 的能力。对于高度专业化的领域（法律、医学），自动生成的证据标注可能不够精确。

2. n-gram 重叠度作为代理指标的粗粒度性

GEAR 使用 n-gram 重叠度（n=3训练，n=10分析）作为”是否引用了证据”的代理指标。这有两个潜在问题：

同义改写惩罚不足：如果模型用自己的话重述了关键证据（好的推理行为），n-gram 重叠度可能很低，接地奖励不足
位置邻近的干扰项奖励过多：如果关键证据和干扰项在原文中相邻，n-gram 重叠可能无法精确区分

3. Claude 的例外未充分解释

Claude-Opus-4.5 是7个测试模型中唯一的例外——它整体复制率极低，接地比率模式与其他模型不同。论文提到了这一点但未深入分析 Claude 的何种训练或架构特性使其免于重复复制。这对于理解重复复制的机制至关重要。

4. 仅在 Qwen3.5 系列训练验证

GEAR 训练实验仅在 Qwen3.5-9B/27B/35B-A3B 上进行。虽然诊断覆盖了7个模型，但方法的训练验证缺乏模型家族多样性（如 Llama、Gemma 等）。考虑到 Spurious Rewards 论文揭示的 RLVR 行为在不同模型家族间差异巨大，这一局限值得关注。

对大模型领域的影响

1. 长上下文推理评估范式的转换

这篇论文与近期 RULER、LongBench-v2 等基准共同推动了长上下文评估从”检索能力测试”到”推理能力测试”的转换。重复复制现象说明，即使模型能成功检索到关键信息，它也可能只是把信息抄一遍而非真正推理。这意味着此前基于 NIAH（Needle-in-a-Haystack）的评估高估了模型的长上下文能力。

2. 奖励塑形作为过程监督的轻量替代

GEAR 在”无过程监督”和”昂贵过程标注”之间找到了一个甜蜜点：它不需要步级人工标注（PRM 的成本），不需要训练过程奖励模型，只需要知道输入中哪些部分是关键证据——这可以通过自动管道获取。如果这一范式成立，它可能成为 RLVR 过程监督的主流范式之一。

3. 与 RLVR 论证链的新维度对接

本专栏前期的论文精读主要聚焦 RLVR 的训练动力学问题（Spurious Rewards、LPO、RELEX、STARE、FADE、UP、RIPO等）——即”训练过程出了什么问题”。GEAR 开启了一个正交维度：奖励信号的信息充分性问题——即使训练过程完美，如果奖励信号对推理过程的关键维度（如证据定位）完全沉默，模型也会发展出表面上满足奖励但实质上无效的行为（重复复制）。

这与 Spurious Rewards（裁剪偏置放大预训练先验）、Forks in the Road（首 token 锁定推理模式）、Premature Confidence（CoT 早期锁定答案）共同构成”RLVR 训练后模型的推理行为远非理想”的多维论证链——从奖励信号、信用分配、决策锁定到证据定位，每一维都揭示了不同的失败模式。

5 实践启示

可以借鉴的技术

1. n-gram 重叠度作为推理质量代理指标

GEAR 使用 n-gram 重叠度来量化推理轨迹与输入的关系。这一指标极其轻量、无需模型、无需标注，可以作为训练监控信号集成到 RLVR 训练管线中——当重叠率异常升高时触发预警，无需等到准确率下降才发现问题。

2. 证据约束的 QA 数据工程

自动标注管道中”随机采样文本块作为约束上下文，仅基于约束上下文生成问题”的思路，可以广泛迁移到需要可控证据位置的训练数据构建中。例如：

RAG 训练数据：将检索到的文档块标记为证据，其余为干扰
代码推理数据：将关键代码片段标记为证据，注释/空白为干扰
科学推理数据：将相关公式/数据标记为证据，背景描述为干扰

3. 互补奖励设计的通用原则

GEAR 的”接地奖励+干扰惩罚”设计体现了一个通用原则：单一维度的奖励容易被捷径行为满足，需要互补的惩罚项关闭捷径。 这可以迁移到其他 RLVR 场景：

代码生成：功能正确性奖励 + 冗余代码惩罚
数学推理：答案正确性奖励 + 无效中间步骤惩罚
对话：信息性奖励 + 幻觉引用惩罚

潜在应用场景

1. 长文档问答系统的训练优化

在企业级 RAG 系统中，当检索到的文档超过 16k tokens 时，模型很可能进入重复复制模式。GEAR 可以直接应用于 RAG 训练——将检索命中的文档段标记为关键证据，未命中的标记为干扰项，在 RLVR 训练中加入证据感知奖励。

2. Agent 长轨迹推理的效率优化

当 Agent 处理长轨迹（如多步代码编辑、多轮工具调用）时，也可能出现类似的”回声”行为——将工具输出大量复制到推理中而非提炼关键信息。GEAR 的思路可以直接迁移：将关键工具返回值标记为证据，冗余输出标记为干扰。

3. 推理蒸馏的冗余压缩

结合本专栏前期的 BIRD（Bootstrapped Iterative Self-Reasoning Distillation）论文——GEAR 在训练时减少重复复制，BIRD 在蒸馏时减少冗余推理。两者可以在管线中串联：先用 GEAR 训练一个”少复制、多推理”的教师模型，再用 BIRD 将其蒸馏为更紧凑的学生模型。

4. 长上下文基准的增强评估

当前长上下文基准主要报告准确率。加入 n-gram 重叠度和接地比率作为辅助指标，可以更全面地评估模型是”真正推理”还是”伪装推理”。这一评估思路可以集成到 LMSYS Arena 等平台的长上下文评测中。

本文为「论文精读」专栏第 55 篇。论文原文：arXiv:2607.19345