综述反向构建：从 Survey 论文倒推写作过程，训练多源整合与知识结构化能力
综述文章是「多源信息→结构化知识」的最终产物。反向来看，已有的数千篇 survey 就是高质量的训练数据素材——给模型原始论文集合，让它独立完成综述写作过程，以原始 survey 作为参照，系统性构建多源整合能力的中训练数据。
核心想法
综述论文（survey paper）是一种特殊的知识产物——它的输入是几十篇原始论文，输出是一个提炼后的结构化知识体系。
这个「输入→输出」对，天然是可复用的训练数据构造框架。
已有数万篇 survey 发表在 arXiv、ACL Anthology、IEEE 等平台。每一篇 survey 对应一个现成的任务：给模型那些原始论文，要求它独立完成综述写作过程，产出的综述与原始 survey 直接比较——过程中产生的所有推理和组织轨迹，作为训练数据注入中训练。
一、为什么综述数据特别有价值
1.1 这训练的是另一种认知能力
和「单论文反向推导」不同，综述写作对应的核心能力是多源整合与知识结构化：
- 从几十篇论文里识别出共同的研究主线和分歧点
- 把碎片化的贡献组织成有内在逻辑的分类框架
- 判断哪些工作值得详述、哪些值得略过
- 发现不同论文之间的对比关系、继承关系、矛盾关系
这是一种「元层面」的认知操作——不是推导一个具体结论，而是对一个领域的知识格局形成整体判断。
1.2 现有语料里几乎没有这类显式轨迹
读者看到的是写好的综述，看不到的是：作者是如何从论文堆里提炼出这个结构的。
- 为什么选择这个分类框架而不是另一个？
- 某篇论文被放在哪个类别下，经历了怎样的判断？
- 哪些论文被认为「足够重要」被详细介绍，哪些被归入一句话的总结？
这些判断过程，是综述质量的核心，也是预训练语料里几乎完全缺失的数据类型。
1.3 数据规模天然充足
arXiv 上 cs.AI / cs.CL / cs.LG 领域每年新增数百篇 survey，ACL Anthology 和 IEEE 的累积存量更大。每篇 survey 通常引用 50-200 篇原始论文。
一篇 survey + 它引用的原始论文集合 = 一个完整的训练样本。 数量上完全支撑规模化数据构建。
二、任务设计
2.1 基本任务框架
输入：
- 综述论文的研究范围描述（从摘要提取，去掉具体内容）
- 该综述引用的全部原始论文（标题 + 摘要，或全文）
任务：
- 独立完成综述写作过程
- 输出：分类框架 + 各部分内容 + 研究空白分析
评估：
- 与原始 survey 在框架结构、覆盖度、重点判断上对比2.2 三种任务变体
变体 A：框架生成（最基础）
只要求模型给出分类框架，不要求写正文。
- 输入：N 篇论文的标题 + 摘要
- 输出：这 N 篇论文应该怎么组织成一个综述的框架（几个章节、各章节的逻辑关系）
- 评估：与原 survey 的目录结构比较——章节数量、层级关系、关键类别的对应程度
这是难度最低、评估最容易量化的变体，适合作为 pipeline 验证的起点。
变体 B：完整综述写作
要求模型完整推导出综述正文。
- 输入：N 篇论文全文 + 研究范围描述
- 输出：完整综述草稿（含引言、各分类章节、对比分析、研究空白）
- 评估：与原 survey 在覆盖度、重点判断、论文归类、引用必要性上多维对比
变体 C：增量综述更新
给模型一篇旧的 survey（如 2022 年的），再给它 2023-2024 年的新论文，要求它更新这篇综述。
- 这种任务在现实中极其常见，但训练数据几乎为零
- 评估：和真实的 2024 版 updated survey 对比（如果存在）
- 如果没有真实更新版，用「是否正确识别了 2023-2024 年的重大新进展」作为评估
2.3 过程轨迹的捕捉
比最终的综述产出更有价值的，是写作过程中的推理轨迹：
- 论文阅读与归类：「这篇论文的核心贡献是 X，应该放在 Y 章节」
- 框架调整过程：「最初想用 A 框架，但读完第 7-12 篇后发现 B 框架更能体现研究演进」
- 重要性判断：「这篇论文引用量高但贡献有限，归入一句话总结」
- 对比关系识别：「论文 3 和论文 7 在 X 问题上有直接对立的观点」
- 空白发现：「这 30 篇论文都集中在 A 问题，B 问题几乎无人研究」
这些轨迹对应的正是人类研究员阅读文献、构建知识体系的核心思维过程。
三、评估设计
综述写作的评估比单论文反向更复杂，因为「写综述」本来就没有唯一标准答案——同一批论文可以有多种合理的组织方式。
3.1 可量化的评估维度
| 维度 | 评估方式 | 说明 |
|---|---|---|
| 覆盖度 | 关键论文召回率 | 原 survey 中「高权重」的论文，模型是否提到并正确描述 |
| 框架相似度 | 章节结构语义对比 | 分类框架的粒度和逻辑是否与原 survey 对齐 |
| 重点一致性 | 篇幅分配对比 | 原 survey 详述的工作，模型是否也给了较多笔墨 |
| 归类准确性 | 论文→章节映射对比 | 模型把论文放在哪个章节，是否和原 survey 一致 |
| 空白识别 | 研究空白的重合度 | 模型发现的未解决问题，是否和原 survey 的「Future Work」方向对应 |
3.2 「合理的不同」vs「错误的不同」
评估的核心挑战：模型的框架和原 survey 不同，不一定是错的。
处理方式：
- 优先评估「是否覆盖了所有重要工作」（客观可验证）
- 其次评估「重要性判断是否一致」（有原 survey 作参照）
- 最后才评估「框架是否相同」（允许合理的多样性）
「覆盖关键内容」的准确性是强信号，「框架是否和原 survey 完全一致」是弱信号。
四、与反向假设生成的关系
这两个方案训练的是两种不同的科学认知能力，互补而不重叠：
| 维度 | 反向假设生成 | 综述反向构建 |
|---|---|---|
| 核心能力 | 科学推理链（单步深推） | 多源整合 + 知识结构化 |
| 输入单位 | 单篇论文（去掉答案） | 多篇论文（原始输入） |
| 任务类型 | 推导出这篇论文 | 写出这篇综述 |
| 评估难度 | 中等（假设-结论对齐） | 较高（框架多样性） |
| 最强信号 | 有代码时的执行验证 | 关键论文覆盖度 + 重点一致性 |
| 相关现有工作 | The AI Scientist, EvoScientist | SurveyAgent, AutoSurvey |
两类数据可以叠加使用，覆盖「单点深推」和「全局整合」两种认知模式。
五、现有相关工作
SurveyAgent（arXiv:2403.02479）：
自动化写综述的 Agent 系统，能端到端完成文献收集→综述写作。工程上证明了任务可行性，但重点是系统实现，没有把过程轨迹当作训练数据。
AutoSurvey（arXiv:2406.10252）：
另一个自动综述系统，有和人写综述的对比评估实验，显示在覆盖度上与人工综述接近。这些评估框架可以直接复用为本方案的评估方法。
Storm（Stanford, arXiv:2402.14207）：
Wikipedia 文章自动写作系统，通过「提问→搜索→组织」的过程生成长篇结构化文章。与综述反向构建高度相似，区别在于 Storm 的 ground truth 是 Wikipedia 词条，本方案的 ground truth 是 survey 论文。Storm 的过程设计对本方案有直接参考价值。
核心空白：上述工作都是「让 AI 写综述」的工程系统，没有一个把这个过程产生的轨迹系统性地用于中训练数据构建。这正是本方案的切入点。
六、实施路径
阶段一：数据集构建与评估验证（2-3 周）
- 收集 100 篇 arXiv survey（cs.CL / cs.LG，2022-2024年，引用数 > 50）
- 提取每篇 survey 的「研究范围描述」+ 引用论文集合
- 设计框架生成（变体 A）的评估 prompt，建立量化指标
- 用当前最强模型（DeepSeek-V3 或 Qwen2.5-72B）完成变体 A 任务
- 人工抽检 20 篇，校准自动评估与人工评估的相关性
目标：确认自动评估信号可靠（相关性 > 0.7）
阶段二：规模化与轨迹收集（3-5 周）
- 扩展到 500-1000 篇 survey
- 完成变体 B（完整综述写作），捕捉完整推理轨迹
- 按质量分层：覆盖度高 + 重点一致性好的轨迹为高质量数据
- 构建训练集，按难度（论文数量 / 领域复杂度）分层
阶段三：中训练实验（4-8 周）
- 以 Qwen2.5-7B 做消融实验
- 对比：无综述数据 / 加综述文本（静态）/ 加综述写作轨迹（动态）
- 评估：多文档理解 benchmark + 内部知识整合评测
七、关键风险
风险 1：引用论文获取成本高
部分论文有版权限制，全文不能直接使用。
→ 先用标题 + 摘要（公开可用），全文版本作为后续增强。
风险 2：框架评估主观性强
同一批论文可以有多种合理的组织框架，导致评估噪声大。
→ 优先用「覆盖度」作为主要信号，降低框架结构对评估分数的权重。
风险 3：长上下文挑战
100 篇论文的摘要就可能超过 100K tokens，完整读完是挑战。
→ 分阶段处理：先聚类 + 代表性摘要，再全量细读重要论文。
风险 4：综述领域偏差
NLP 类 survey 数量最多，可能导致领域偏差。
→ 主动平衡：cv / ml / 系统 / 生物医学 各领域分配配额。
八、核心价值总结
「综述反向构建」的价值不是又一个「让 AI 写综述」的工程系统，而是：
把人类几十年积累的数万篇 survey，从「知识产物」变成「认知过程的训练素材」。
每一篇 survey 背后隐含的「如何从原始论文堆里提炼结构」的判断过程，是目前几乎完全缺失的训练数据类型。系统性地把这些过程显式化，是训练模型获得「领域整合能力」最直接的路径。
与反向假设生成提案配合阅读：反向假设生成：用已有论文倒推研究课题
参考：SurveyAgent（arXiv:2403.02479）| AutoSurvey（arXiv:2406.10252）| Storm（arXiv:2402.14207）
本提案基于 2026-03-29 讨论整理。