研究提案

科研能力数据体系：四条路线全景

单点深推、多源整合、执行验证、批判性评审——四条科研能力数据构建路线的整体框架与组合使用指南

科研AI 训练数据 数据体系 假设生成 综述构建 代码复现 同行评审 批判性推理

训练一个真正具备科研能力的 AI，核心挑战不是模型架构，而是数据。科研行为本质上是高度结构化的推理链条——从文献理解到假设生成，从实验设计到结果解读——每一步都需要有对应的训练信号才能习得。

本文是三条数据构建路线的导航入口，不重复每篇提案的技术细节，而是给出一个整体框架：这三条路线分别从哪个切入点出发，覆盖什么类型的科研能力，彼此如何互补。

四条路线速览

路线定位核心能力数据类型工程复杂度
单点深推反向假设生成从论文结论逆推假设空间，生成有梯度的假设质量谱论文→假设对，质量标注中（依赖 LLM pipeline）
多源整合综述反向构建跨文献整合、矛盾识别、知识图谱构建综述→引用文献对，论点溯源高（多文档对齐）
执行验证论文代码复现实验执行、环境调试、结果对比与诊断复现轨迹、错误修复日志高（需要真实运行）
批判性评审同行评审与撤稿数据识别论证缺陷、自我校正、置信度校准review-论文配对、撤稿声明、预注册偏差低（大量已整理开源数据）

路线一：单点深推——反向假设生成

切入点：一篇论文的结论是已知的。如果我们把结论遮住，让模型去猜「作者可能提出了什么假设」，这个逆向推理过程就是科研直觉的核心。

核心能力：

  • 从观察到可检验假设的跨越
  • 假设的具体度、可证伪性、新颖性判断
  • 在同一研究方向上生成假设的多样性

数据特征：以单篇论文为中心，生产「方法→假设空间」的映射数据。质量标注维度包括：假设是否被论文验证、假设与 baseline 的差异度、假设的技术可行性。

适合训练什么模型：在给定研究背景后，能主动提出有价值实验想法的 agent。

→ 详见提案：反向假设生成数据路线

路线二：多源整合——综述反向构建

切入点：综述论文是人类专家整合多篇文献后的结晶。反向来看，综述中的每一个论断都有其引用来源，每一处分歧都指向真实的学术争议。把综述「拆开」，就能还原出跨文档推理的黄金轨迹。

核心能力：

  • 跨文献的论点对齐与矛盾识别
  • 按主题聚合碎片化知识
  • 区分「直接支持」「部分支持」「反驳」三种引用关系

数据特征：以综述为锚点，向引用文献展开，构建「多文档→综合判断」的有标注训练集。数据天然带有人类专家的整合逻辑，质量上限高。

工程难点：需要可靠的引用解析和全文获取，多文档对齐的噪声处理复杂。

适合训练什么模型：能在大量文献中快速定位矛盾、综合不同来源的研究助手。

→ 详见提案：综述反向构建数据路线

路线三：执行验证——论文代码复现

切入点：开源论文代码 + 复现过程中的每一次报错和修复，就是最真实的「科研执行轨迹」。不是合成的，不是模拟的，而是真实发生的问题和解法。

核心能力：

  • 环境配置与依赖调试
  • 实验结果与论文声明的差距诊断
  • 复现失败的根因分析

数据特征：以复现尝试为单元，记录从启动到成功（或失败）的完整轨迹，包括中间步骤、报错信息、修复操作。高质量的失败轨迹与成功轨迹同等重要。

工程难点：需要真实的 Sandbox 执行环境，计算资源消耗大，不同论文的环境差异极大。

适合训练什么模型：具备实验操作能力的科研 agent，能自主运行代码、解读结果、排查问题。

→ 详见提案：论文代码复现数据路线

路线四：批判性评审——同行评审与撤稿数据

切入点：预训练语料充斥「陈述性」知识，却几乎没有「评估性」推理——即「这个论证哪里有问题、为什么」。OpenReview 的 peer review、arXiv 的撤稿记录、OSF 的预注册数据，是公开数据里最集中的批判性推理样本，且大量已整理成开源数据集，工程门槛是四条路线里最低的。

三类数据来源：

  • OpenReview（ICLR/NeurIPS/ICML）：~15 万篇论文提交，~60 万条专家 review，含评分、批评意见、作者 rebuttal、meta-review 和最终决定，天然构成「论文 + 批判视角 + 偏好对」三类训练信号。

  • WithdrarXiv + Retraction Watch：1991-2024 年 arXiv 共 14,000+ 条撤稿记录，其中约 4,000 条附有实质性技术说明（「proof 中的根本性缺陷」「数据污染导致结论无效」等）。这是极为稀缺的「作者主动承认错误」语料，训练模型自我校正意识的关键素材。

  • OSF 预注册：10 万+ 条「研究前公开写下的假设与方法」，与最终论文结论形成「计划-执行-偏差」三元组，天然包含 null results（零结果）——当前预训练数据中几乎缺失的「假设未被支持」样本。

核心能力：

  • 批判性阅读：读一段论证，能指出具体的逻辑漏洞或数据问题
  • 自我校正倾向：推理链出现矛盾时主动暂停重审
  • 置信度校准：对不确定结论保持适度怀疑，而非过度肯定
  • 科研诚信感知：识别数据操纵、过度声明、方法论滥用等模式

与其他三条路线的本质区别：路线一二三训练的都是「生成」能力（生成假设、生成综合、生成实验），路线四训练的是「评估」能力——判断一个推理链是否有效。这两种能力在认知层面是不同的，需要不同类型的数据。

适合训练什么模型：能对自己和他人的推理链进行批判性检验的 AI，是科研 agent 从「流畅输出」到「可信推理」的关键跨越。

→ 详见提案：同行评审与撤稿数据路线

四条路线的互补关系

这四条路线不是竞争关系，而是覆盖了科研工作流的不同阶段与不同认知维度：

[想法生成] ──→ [文献整合] ──→ [实验执行]
  路线一            路线二          路线三
  假设能力          综合能力         执行能力
     ↑                ↑               ↑
     └────────────────┴───────────────┘
              路线四：批判性评估能力
         （贯穿全流程的「质量检验层」）

路线一二三覆盖的是「做科研」的能力，路线四覆盖的是「判断科研质量」的能力。两者结合才能形成真正的科研闭环——不只是能产出，还能自我检验产出是否可信。

纵向深度：路线一训练「从无到有的想法」，路线二训练「在已有知识上的整合判断」，路线三训练「把想法变成可运行实验」，路线四训练「评估推理链是否有效」。

横向互补：

  • 路线一产出的假设，可以作为路线三复现实验的「预期结果参照」
  • 路线三复现中发现的真实问题，可以反哺路线一的假设质量评估
  • 路线二的多文献整合能力，是路线一「假设新颖性判断」的前提
  • 路线四的批判能力，为路线一二三的所有产出提供「质量检验层」

资源配比建议：

  • 初期：优先路线一（成本低、迭代快）+ 路线四（工程成本最低，数据已就绪，快速起量）
  • 中期：引入路线二（提升文献整合深度）
  • 成熟期：投入路线三（需基础设施支撑，产出难被复制）

组合使用的增效场景

场景 A：假设到验证的完整链路

用路线一生成候选假设 → 用路线二评估假设的文献支撑度 → 用路线三验证假设的实验可行性 → 用路线四的批判能力检验整个推理链的可信度。四条路线串联，覆盖 AI 辅助科研的完整 workflow。

场景 B：Sandbox 作为数据放大器

路线三的执行环境（Sandbox）本身可以成为数据生产资产——通过矩阵化配置，同一实验在不同环境下跑出不同结果，天然生成「错误诊断」训练数据。

→ 详见提案：Sandbox 作为数据合成核心资产

场景 C：DPO 数据的天然来源

路线四的 OpenReview 数据天然包含偏好对：同一篇论文的高质量 review（与最终决定一致）vs 低质量 review（与最终决定背离），无需人工标注，直接用于 DPO/RLHF 训练批判性评估能力。

总结

科研能力不是单一维度的。假设力、整合力、执行力、批判力，分别需要不同类型的数据来训练。四条路线的设计原则是各司其职、互不重叠、可以叠加。

从哪条路线开始，取决于团队当前的资源和目标能力优先级。路线四（批判性评审）是当前工程门槛最低、数据最现成的切入点，适合作为快速验证假设的起点。路线三（代码复现）是门槛最高、但数据最难被复制的壁垒。

最终的目标是一致的：让 AI 真正进入科研工作流，不只是能搜索和生成，而是能提出想法、整合文献、执行实验、批判性地检验自己的推理。