DeepResearch 难度阶梯：从多跳 QA 到开放科研的渐进式搜索推理数据构建

触发动机

DeepResearch-9K（2603.01152，通义团队）做了一件很有启发的事：把 Deep Research 任务分成了三个难度等级（L1/L2/L3），并开源了包含搜索推理链的轨迹数据。但他们的三级划分比较粗——基本是”几跳能答完”来区分难度。

与此同时，站内已有的搜索树逆向工程 proposal 关注的是”从综述论文倒推搜索过程”，聚焦的是单一来源（综述论文）。两者结合让我想到一个更完整的图景：如果我们能构建一个从”简单事实查询”到”开放科研探索”的完整难度阶梯，每一级都有对应的搜索推理数据，那么模型可以在中训练阶段渐进式地习得搜索推理能力的各个层次。

另一个触发点是 AgentIR（Reasoning-Aware Retrieval，CMU/Waterloo，2603.04384）——他们发现现有检索器不会”推理性检索”（比如将”全球变暖对珊瑚的影响”拆解为先搜海水温度数据再搜珊瑚白化机制），而是傻傻地搜原始 query。这说明”搜索策略决策”本身就是一个需要训练的能力。

战略判断：为什么搜索推理是长文生成的基石

行业信号

1. Deep Research 已成标配：OpenAI、Google、Perplexity、通义 都上线了 Deep Research 功能，它本质上就是 “SearchAgent + 长文生成”。
2. DeepResearch-9K 和 DeepResearch Bench 验证了数据的价值：通义团队用 9K 数据 + RL 训练出来的模型在 Deep Research 任务上达到 SOTA。数据是这个方向的核心壁垒。
3. Open Data Synthesis for Deep Research（OpenReview 2026）明确提出了这个方向的开放数据合成需求，但还没有系统方案。

能力缺口

当前模型在 Deep Research 上的失败模式可以分层：

难度层	失败模式	训练数据需求
L1 简单事实	很少失败	不缺数据
L2 多跳推理	中间跳错方向后无法回溯	需要包含”错误搜索 → 回退 → 重新搜索”的轨迹
L3 比较综合	信息覆盖不全，遗漏关键视角	需要多角度搜索策略数据
L4 开放分析	搜索深度不够就草草结论	需要”已有信息 → 判断是否充分 → 决定继续搜还是停”的元判断数据
L5 科研探索	不会发现 unknown unknowns	需要”搜到意外信息 → 重新调整研究方向”的轨迹

当前数据集主要覆盖 L1-L2，L3 开始稀疏，L4-L5 几乎空白。

方法论

五级难度阶梯

L1：事实检索（Factual Retrieval）

• 任务：单跳事实查询
• 数据源：Wikipedia + Wikidata
• 构建：从知识图谱三元组生成问题 → 搜索过程只需一次检索
• 重点：训练”精确匹配”能力
• 规模目标：50,000 条

L2：多跳推理（Multi-hop Reasoning）

• 任务：需要 2-4 步检索才能回答
• 数据源：DeepResearch-9K（直接复用）+ HotpotQA/MuSiQue 增强
• 构建：从已有多跳 QA 数据集提取，补充搜索轨迹
• 重点：训练”下一步该搜什么”的决策
• 规模目标：30,000 条

L3：比较分析（Comparative Analysis）

• 任务：比较 N 个实体/方案/论点，需要从多个角度搜集信息
• 数据源：产品评测文章、技术选型文档、政策分析报告
• 构建：
  1. 从已有比较文章逆向提取：最终结论 → 倒推需要哪些信息 → 重构搜索路径
  2. 关键创新：为每个搜索步骤标注”搜索意图”（confirm/contrast/supplement/verify）
• 重点：训练”多角度信息覆盖”意识
• 规模目标：15,000 条

L4：深度分析（Deep Analysis）

• 任务：开放式分析问题，需要搜索 → 判断信息充分性 → 决定是否继续
• 数据源：智库报告、行业分析、学术综述的写作过程重构
• 构建：
  1. 取一篇深度分析文章的最终版本
  2. 用 LLM 逆向重构写作过程：“写到这里，我还需要搜索什么？”
  3. 关键创新：在轨迹中插入元判断节点

  [SEARCH] "全球锂资源储量" → 获得数据
  [SEARCH] "锂电池回收技术进展" → 获得信息
  [META-JUDGE] 信息充分性评估：
  - ✅ 供给侧数据已有
  - ✅ 回收技术进展已有
  - ❌ 需求侧预测尚缺（电动车+储能增长曲线）
  - ❌ 地缘政治因素未覆盖（智利/澳大利亚政策）
  → 决定：继续搜索，至少补充需求侧数据
  [SEARCH] "2025-2030 全球电动车销量预测" → ...

• 重点：训练”知道自己知道什么、不知道什么”的元搜索能力
• 规模目标：8,000 条

L5：科研探索（Research Exploration）

• 任务：真正的开放科研问题，没有标准答案，需要发现 unknown unknowns
• 数据源：科研项目的探索日志、实验室 notebook、论文草稿演变过程
• 构建：
  1. 从论文的多版本（arXiv v1 → v2 → v3）中提取研究方向的演变
  2. 从 GitHub Issues 中提取”预期行为 vs 实际行为 → 新发现”的轨迹
  3. 关键创新：在轨迹中标注枢纽点（pivot point）——研究方向发生改变的时刻

  [SEARCH] "Transformer 在长序列上的效率" → 找到稀疏注意力文献
  [SEARCH] "稀疏注意力的精度损失" → 发现一个有趣现象
  [PIVOT] 意外发现：某些稀疏模式在特定任务上反而比全注意力更好
  → 调整研究方向：从"如何让稀疏注意力逼近全注意力"
     转为"什么任务天然适合什么稀疏模式"
  [SEARCH] "任务特征与注意力模式的关系" → ...

• 重点：训练”发现意外 → 调整方向”的科研直觉
• 规模目标：3,000 条

中训练语料转化

所有五级数据统一转化为叙事体中训练语料，格式：

## 研究过程记录：[问题描述]

### 搜索策略规划
面对这个问题，首先需要确定搜索的几个维度...

### 第一轮检索
搜索"[查询]"，获得了以下关键信息...
这些信息回答了[问题的哪个部分]，但还缺少...

### 信息充分性判断
当前信息覆盖度：
- [维度1] ✅ 已覆盖
- [维度2] ❌ 需要补充
→ 继续搜索

### 第二轮检索
...

### 综合分析
基于收集的所有信息...

规模估算

级别	条数	平均 Token	总量
L1	50,000	500	2500 万
L2	30,000	1,500	4500 万
L3	15,000	3,000	4500 万
L4	8,000	5,000	4000 万
L5	3,000	8,000	2400 万
总计	106,000	-	~1.8 亿 token

注意金字塔结构：数量递减但单条复杂度递增，模拟人类从简单到复杂的渐进学习。

落地路径

1. Week 1-2：L1/L2 数据构建（复用 DeepResearch-9K + 多跳 QA 增强）
2. Week 3-4：L3 比较分析数据（从技术评测文章逆向构建）
3. Week 5-6：L4 深度分析数据（从智库报告逆向构建 + 元判断标注）
4. Week 7-8：L5 科研探索数据（从 arXiv 多版本论文提取）
5. Week 9-10：统一叙事化转换 + 质量审查 + 消融实验设计

与已有方案的关系

与站内搜索树逆向工程 proposal 的关系：搜索树逆向聚焦从综述论文倒推搜索过程（本方案的 L4/L5 子集），本方案将其扩展为完整的五级阶梯，且新增了 L4 的元判断能力和 L5 的枢纽点发现。两者可以合并：搜索树逆向作为 L4/L5 的核心数据源之一。