自动化科研能力的训练数据体系：趋势判断、现有思路与展望
自动化科研是下一代AI模型的核心竞争力。本提案论证其行业重要性，梳理站内已有的数据构建思路，并展望尚未探索的数据方向。
一、为什么这个方向值得重点投入
行业已经进入拐点
2026年3月，两件事同时发生：The AI Scientist 的论文登上 Nature；EvoScientist 生成的6篇论文全部被 ICAIS 2025 接收，其中一篇拿了最佳论文奖。这不是演示，是通过同行评审的真实科学成果。详见站内自动化科研系统综述。
但另一个数字同样值得关注：OpenAI 发布的 FrontierScience benchmark 显示，GPT-5.2 在博士级 Research 任务上仅得 25%。顶尖模型，博士级任务，四题只对一题。天花板很高，地板也很低——这个差距就是机会。
OpenAI 已经把这个方向作为战略赌注。2024年10月，OpenAI 成立专门的「OpenAI for Science」团队，负责人是 Kevin Weil（曾在斯坦福攻读粒子物理学博士）。Sam Altman 本人表示，「AI for Science」是他「个人最兴奋的方向」，并预言 2026 年对科研的影响将如同 2025 年对软件工程的影响。OpenAI 还与美国能源部签署备忘录，加入被称为「自曼哈顿计划以来最重要项目」的 Genesis Mission，目标是将国家实验室、超级计算机和联邦数据集连接成统一 AI 研究平台。更激进的是，Altman 提出从「出售工具」转向「投资成果」——通过科研成果分润来深度绑定这个赛道。详见OpenAI 的科学野心。
科研人员和学生是全球最活跃的 AI 用户群体之一，也是反馈最多「模型帮不了忙」的群体。原因不是模型不够聪明，而是他们的任务太具体：复现一篇论文、分析一批实验数据、写一节综述、设计一个有对照组的实验。这些任务通才模型能做，但做得不够好。
未来 2-3 年，AI 辅助科研将从「查文献」升级到「设计实验—分析数据—写综述—复现验证」的全链路能力。这是主流模型竞争的核心战场之一。
ROI 清晰
这个方向有明确的用户群（高校、科研机构、企业研究院），有可测量的价值（加速科研进度、降低重复劳动），而且不需要构建新产品——只需要让现有对话模型在科研场景下更能干。训练数据驱动能力提升，路径直接，投入产出比清晰。
二、已有的数据构建思路
站内已有六条具体的数据构建方案，覆盖科研能力的不同维度。以下按落地难度从低到高排序。
思路1：科学图表 QA 蒸馏 ★ 最易落地
核心动机：多模态科学理解——读一张消融实验表格、解释一条 loss 曲线、关联图表与正文的数值——是当前模型的真实弱点，但这恰好是科研场景的高频任务。
关键 idea：从 arXiv 论文批量提取图表，以正文相关段落作为 ground truth，构造 4 级难度 QA（L1：读数；L2：趋势判断；L3：跨图推理；L4：关联正文结论）。
独特价值：ground truth 来自原始论文，无幻觉风险，且可程序化验证 L1/L2。
规模估算：约 10-12 万条 L1/L2（程序可验证）+ 约 2.5 万条 L3/L4（需人工辅助）。
落地难度低的原因：纯文本+图像提取，无需运行代码或搭建执行环境，L1/L2 可完全自动化构建和验证。
思路2：GitHub Issues 论文复现踩坑记录
核心动机：真实专家在信息不完整情况下的诊断推理——「复现不出来，为什么？」——这类数据合成不了，只存在于真实的 GitHub issue 里。
关键 idea：从 Papers with Code 高 star 仓库系统采集复现诊断对话，筛选条件：已关闭（有结论）、多轮交互（有推理过程）、包含量化差距（如「我跑出来 62.3，论文是 68.1」）。
独特价值：不可合成性，这是护城河。合成数据可以模拟代码问题，但模拟不了真实专家面对模糊问题时的诊断思路。
规模诚实估算：约 9000 条高质量样本（第一性原理推导，非乐观假设）。
落地难度中低：爬取 + 规则筛选即可启动，结构固定，无需执行环境，主要工作量在质量过滤。
思路3：同行评审与撤稿数据——批判性评审能力 ★ 工程门槛低
核心动机：预训练语料充斥「陈述性」知识，几乎没有「评估性」推理——即「这个论证哪里有问题、为什么」。科研 AI 要从「流畅输出」升级到「可信推理」，必须补上这个缺口。
三类数据来源：
- OpenReview（ICLR/NeurIPS/ICML）：~15 万篇论文提交，~60 万条专家 review，含评分、批评意见、作者 rebuttal 和最终决定，天然构成「论文 + 批判视角 + 偏好对」三类训练信号
- WithdrarXiv（arXiv 2412.03775，2025.01 发布）：1991-2024 年 arXiv 共 14,000+ 条撤稿记录，约 4,000 条附有实质性技术说明，是极为稀缺的「作者主动承认错误」语料
- OSF 预注册：10 万+ 条「研究前公开写下的假设与方法」，与实际结果构成「计划-执行-偏差」三元组，天然含 null results
统一框架：三类数据覆盖「外部批判 → 内部自纠 → 结构性偏差」完整错误谱系，可定义为「错误感知数据」这一新类别。
独特价值：DPO 配对天然存在——同一篇论文的高质量 review（与最终决定一致）vs 低质量 review（背离决定），无需人工标注。
规模估算：~23 万条高质量样本；退火阶段 3-8% 配比混入。
落地难度低的原因：数据大量已整理成开源数据集（HuggingFace 直接可用），API 访问宽松，是六条路线里启动成本最低的。
思路4：综述反向构建
核心动机：多源整合与框架构建是模型真实短板——能读懂单篇论文，但无法把 50 篇论文整合成一个有逻辑结构的综述。现有训练数据里几乎没有这类过程轨迹。
关键 idea：给模型 survey 引用的原始论文摘要，要求独立完成综述框架，以原始 survey 为参照评估。优先落地的子任务是增量更新：给旧版 survey + 新发表论文，要求更新综述——成本低，验证边界清晰。
落地难度中等：增量更新子任务可先行，主要挑战是上下文长度（50+ 篇摘要）和评估指标设计（结构相似度 vs 内容覆盖率的权衡）。
思路5：反向假设生成
核心动机：现有训练数据里，论文是「知识存储」——模型学会了结论，但没有学到「为什么要提这个问题」。这个方案把数十万篇论文升级为推理过程训练素材。
关键 idea：遮住论文的研究问题和结论，只给背景综述，要求模型正向推导研究假设，再与原论文比较推导方向的一致性。
独特价值：训练科学直觉而非知识记忆——这是两种截然不同的能力。
落地难度较高：必须排除训练截止日期前发表的论文防止知识污染；且假设质量评估机制（一致性判断标准）需要仔细设计，否则评估信号噪声大。
思路6：论文代码复现（科研版 SWE-bench）★ 最难落地
核心动机：Papers with Code 上有 10 万+ 论文，每篇都附带代码仓库和具体实验数值，是天然的可验证训练素材。
关键 idea：给模型论文 PDF + 代码仓库，要求复现核心实验，以原论文报告的数值作为验证标准，产出完整执行轨迹（环境配置→代码修改→运行→对比结果）。
独特价值：可证伪性验证——ground truth 来自论文本身，无需人工标注，偏差可量化。
规模估算：经过可行性探针验证，L1 可用论文约数百至 2000 篇。
落地难度最高：需要在沙箱环境中管理 Python 依赖、GPU 驱动、随机种子等复杂变量；论文数值与实际运行结果的合理偏差范围需要人工定义；失败原因诊断本身就是一个难题。
三、展望：尚未探索的数据方向
以下两个方向尚未被构建，但具备明确的数据来源和差异化价值。
注：原「展望」中的方向1（撤稿/OSF 数据）和方向2（同行评审交互数据）已升级为完整提案（见思路3），不再列为展望。
方向1：跨学科类比推理数据
真实科研创新往往来自「把 A 领域的方法迁移到 B 领域」：DNA 双螺旋结构的发现依赖 X 射线晶体学 + 碱基配对推理；CRISPR 工程化依赖对细菌免疫系统的跨域理解。这种跨域类比推理能力，现有任何数据集都几乎没有覆盖。
构建思路：从科学史案例中提炼「跨域类比」的推理结构，构建专门的类比推理训练数据，重点在推理路径而非结论记忆。
方向2：实验设计的对抗数据（为什么这个设计是错的）
给模型一个研究假设，要求设计实验，再用另一个模型或领域专家挑出设计中的方法论缺陷：confounding variables 未控制、对照组设计不当、统计功效不足、测量指标与假设不匹配。
这类「实验设计批判」数据对应科研中最核心的方法论能力，目前几乎是空白。对抗式构建天然产出高质量的正负样本对，可以直接用于强化训练。
结语
自动化科研能力不是单点突破，而是多维能力的协同——假设生成、实验执行、结果分析、综述整合、批判性评审。训练数据的建设也应对应这些环节逐一构建。
本提案梳理的八条路线（六条现有 + 两条展望）覆盖了其中大部分。优先级建议：
- 先做「可验证的」+ 「数据现成的」：科学图表 QA（程序可验证）、同行评审与撤稿数据（开源数据集已就绪，门槛最低）
- 再做「不可合成的」：GitHub 踩坑记录——真实专家行为，护城河最高
- 最后做「结构最复杂的」：反向假设生成、综述反向构建、论文代码复现——概念验证充分后再规模化
数据不是越多越好，是越能验证越好。这九条路线的共同特点，是 ground truth 有据可查，不依赖人工标注的主观判断——这才是可持续构建的基础。