自动化科研：从工具辅助到自主发现的范式革命
系统梳理 The AI Scientist、EvoScientist、ScienceClaw、DeepScientist 等代表性系统，分析自动化科研的演进轨迹、技术架构与工程启示——特别是对训练数据合成的深层影响。
概述
2026 年 3 月，两件事标志着自动化科研进入新纪元：Sakana AI 团队的 The AI Scientist 论文登上 Nature（3 月 25 日），华为 EvoScientist 的 6 篇 AI 生成论文全部被 ICAIS 2025 接收（含最佳论文奖）。自动化科研不再是概念验证——它正在产出能通过同行评审的真实科学成果。
本文系统梳理了 12+ 个自动化科研系统，从 2022 年的单模块工具到 2026 年的自进化 AI 科学家，分析技术演进、关键架构模式，以及——最重要的——对数据工作（特别是训练数据合成）的深层启示。
核心命题：自动化科研系统可能是当前最被低估的训练数据工厂。其过程数据——结构化推理轨迹、实验代码、数据分析过程——是训练下一代推理模型的最优燃料。
演进时间线：三个阶段
基于华中科技大学 Tie et al. 的综述《A Survey of AI Scientists》(arXiv:2510.23045)，自动化科研经历了三个发展阶段：
Phase I · 基础模块期 (2022–2023)
聚焦科学流程中的单一环节：
- DS-1000：数据科学代码生成
- Coscientist (Nature 2023, CMU)：首次在真实实验室完成闭环化学实验
- ChemCrow (NMI 2024, EPFL)：集成 18 个化学专家工具
- MLAgentBench：ML 研究的基准测试
Phase II · 闭环集成期 (2024)
- The AI Scientist v1 (Sakana AI, 2024.08)：首次实现完整六阶段闭环——文献回顾 → 想法生成 → 实验准备 → 实验执行 → 科学写作 → 论文生成
- SciAgents (MIT, 2024.09)：多智能体想法生成
Phase III · 可扩展影响期 (2025–2026)
三条并行前沿：
- AI Scientist v2：树搜索消除模板依赖，论文首次通过 ICLR 同行评审
- DeepScientist (西湖大学)：贝叶斯优化追求前沿发现
- EvoScientist (华为)：持久记忆实现自我进化，6/6 论文全部被接收
- ScienceClaw (中科紫东太初)：覆盖八大学科，内置 1900+ 工具
统一方法学：六阶段科研框架
所有系统可用六阶段框架解构：文献回顾 → 想法生成 → 实验准备 → 实验执行 → 科学写作 → 论文生成。
| 系统 | 机构 | 年份 | 文献 | 想法 | 准备 | 执行 | 写作 | 论文 | 特色 |
|---|---|---|---|---|---|---|---|---|---|
| Coscientist | CMU | 2023 | ✅ | ✅ | ✅ | 真实实验室 | |||
| ChemCrow | EPFL | 2024 | ✅ | ✅ | ✅ | ✅ | 18 化学工具 | ||
| AI Scientist v1 | Sakana AI | 2024 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 首个端到端 |
| AI Scientist v2 | Sakana AI | 2025 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 树搜索+无模板 |
| DeepScientist | 西湖大学 | 2025 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 贝叶斯优化 |
| EvoScientist | 华为 | 2026 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 持久记忆进化 |
| ScienceClaw | 中科紫东太初 | 2026 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 1900+ 工具 |
核心系统深度剖析
The AI Scientist (v1 → v2)
Nature 2026 · Sakana AI · 端到端自动科研的开创者
核心工作流：想法生成（Semantic Scholar API 去重）→ 实验执行 → 手稿生成（LaTeX）→ 自动评审（5 评审 + 元评审）。
v2 关键升级：消除人工模板，引入渐进式智能体树搜索（Progressive Agentic Tree Search），新增 VLM 反馈循环优化图表质量。
Nature 论文关键实证：
- 3 人团队、5 个月、零手动编码生成 100 万行代码
- 自动评审员准确率与人类评审员相当（平衡准确率：人类 69% vs 自动 66%）
- 3 篇论文提交 ICLR 2025 研讨会，1 篇获评分 6.33 超过接受阈值
- 论文质量随模型能力和计算资源呈明确正相关
EvoScientist
华为 + 阿姆斯特丹自由大学 · arXiv:2603.08127 · 自进化 AI 科学家
核心创新：持久记忆驱动的自我进化。三智能体架构：
- 研究智能体（RA）：生成候选想法，多轮竞赛评估
- 工程智能体（EA）：四阶段递进实现
- 进化管理智能体（EMA）：从项目中提炼可复用知识
双记忆系统：想法记忆库 + 实验技巧记忆库。
实证成果：6 篇论文全部被 ICAIS 2025 接收（会议整体接收率 31.71%），获最佳论文奖。代码成功率从 34.39% → 44.56%。
DeepScientist
西湖大学 · arXiv:2509.26603 · 目标驱动的前沿科学发现
与 AI Scientist 追求”数量”不同，DeepScientist 追求”质量”——聚焦人类定义的前沿科学问题。核心方法：用贝叶斯优化在”探索新假设”和”利用已有知识”之间自动平衡。
ScienceClaw
中科紫东太初 · 2026.03 · 国内首个科研专属 AI 智能体
定位更像全能科研助理：覆盖药物发现、天文学等八大学科。内置 1900+ 工具、77+ 数据库 API、266 个领域技能。开源版采用”零代码”架构——用 Markdown 定义 Agent 行为。
关键技术模式
- 树搜索 vs 线性执行：从线性计划到分支探索和回溯
- 持久记忆：解决 AI 科研的”健忘症”，使系统越用越强
- 多智能体分工：从单体到模拟真实科研团队（PI/博士生/工程师/评审员）
- AI 评审闭环：自动评审准确率已达人类水平（±3%），实现质量自动筛选
- 工具增强：模型能力 × 外部工具生态 = 科研能力的乘数效应
对数据工作的启示：训练数据合成的金矿
核心洞察
自动化科研系统的最大”副产品”不是论文本身，而是过程数据。每一次科研循环都生产大量高质量的结构化推理轨迹——这恰恰是当前 LLM 训练最稀缺的数据类型。
关键优势：自带质量信号
与普通合成数据不同，科研过程数据天然带有三重验证：
- 执行验证：代码是否跑通、实验是否产出有效结果
- 科学验证：结果是否符合预期、是否有统计显著性
- 评审验证：论文是否通过自动/人工同行评审
这使数据筛选可靠性远高于传统 LLM-as-Judge——我们用的不是”另一个模型觉得好不好”，而是”实验是否真的成功了”。
可执行方案：六条数据合成管线
以下六条管线按优先级排序（P0 = 立即启动，P1 = 第二阶段，P2 = 探索性），每条都给出了完整的执行规格。
方案一（P0）· 实验代码 + 调试轨迹采集
目标：从 AI Scientist / EvoScientist 的代码执行过程中提取高质量的 Agentic Coding 训练数据
为什么优先做？ 这是当前训练数据市场上供给最不足的类型——真实的多轮代码编写-运行-调试-修复闭环。AI Scientist 和 EvoScientist 都是开源的，且过程数据天然带有执行验证信号。
数据源：
- AI Scientist v1（GitHub: SakanaAI/AI-Scientist, 12.8K Stars, 3 模板: NanoGPT / 2D Diffusion / Grokking）
- EvoScientist（GitHub: EvoScientist/EvoScientist, 1.5K Stars, 6 子智能体架构）
采集管线：
┌─────────────────────────────────────────────────────────┐
│ Step 1: 部署与运行 │
│ ┌─────────┐ ┌──────────┐ ┌────────────┐ │
│ │ AI Sci │ │ Evo Sci │ │ Docker │ │
│ │ 3 模板 │───▶│ 6 Agent │───▶│ 沙盒隔离 │ │
│ └─────────┘ └──────────┘ └────────────┘ │
│ │
│ Step 2: 过程数据拦截 │
│ • Hook experiment.py 的 stdout/stderr │
│ • 拦截 LLM API 调用（请求+响应） │
│ • 记录文件系统变更（git diff per step） │
│ • 捕获 Python traceback + 修复动作 │
│ │
│ Step 3: 轨迹结构化 │
│ 每条轨迹 = [ │
│ {role: "system", content: "任务描述+约束"}, │
│ {role: "assistant", content: "代码v1", action: "write"},│
│ {role: "tool", content: "执行结果/报错"}, │
│ {role: "assistant", content: "分析+修复", action: "fix"},│
│ {role: "tool", content: "成功输出"}, │
│ ... │
│ ] │
│ │
│ Step 4: 质量筛选 │
│ ✅ 保留：实验最终成功运行 + 产出有效结果 │
│ ✅ 高价值：经历 ≥1 次失败后修复成功的轨迹 │
│ ❌ 丢弃：无限循环 / 最终未解决 / 琐碎修改 │
└─────────────────────────────────────────────────────────┘输出规格：
- 格式：JSONL，每行一条完整轨迹（兼容 OpenAI fine-tuning 格式）
- 预估产量：每个模板运行 100 个 idea × 3 模板 = ~300 轨迹/批次
- 轨迹长度：平均 8-15 轮交互，覆盖”写-跑-错-修-验”全链路
- 质量信号字段：
execution_success(bool),review_score(1-10),num_debug_rounds(int)
成本估算：
- AI Scientist 单次运行 ~$15（Claude 3.5 Sonnet）
- 300 轨迹 ≈ $4,500
- 如用 DeepSeek 替代，降至 ~$300
实施周期：2 周（1 周搭环境 + Hook，1 周跑批次 + 清洗）
方案二（P0）· 科学推理链提取
目标：从假设生成→实验设计→结果分析的全链路中提取多步骤推理数据
为什么优先做？ 推理链数据是训练 o1/R1 类推理模型的核心燃料，而科研过程天然是多步骤、有因果链、可验证的。
数据源：
- AI Scientist v2 的 “Progressive Agentic Tree Search” 过程
- EvoScientist 研究智能体（RA）的多轮竞赛评估记录
- DeepScientist 的贝叶斯优化探索-利用轨迹
采集管线：
文献回顾 假设生成 实验设计 结果分析
│ │ │ │
▼ ▼ ▼ ▼
┌────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
│ 相关论文 │ │ 候选假设 │ │ 实验方案 │ │ 数据解读 │
│ 摘要集 │───▶│ 打分排序 │───▶│ 参数选择 │───▶│ 结论推导 │
│ Gap分析 │ │ 去重过滤 │ │ 对照设计 │ │ 图表叙事 │
└────────┘ └──────────┘ └──────────┘ └──────────┘
│ │ │ │
└────────────────┴────────────────┴────────────────┘
│
▼
结构化推理链 JSON
{
"question": "如何改进 X 的性能？",
"reasoning_steps": [
{"step": 1, "type": "literature_review", "content": "..."},
{"step": 2, "type": "hypothesis", "content": "..."},
{"step": 3, "type": "experiment_design", "content": "..."},
{"step": 4, "type": "result_analysis", "content": "..."},
{"step": 5, "type": "conclusion", "content": "..."}
],
"verification": {
"experiment_ran": true,
"hypothesis_supported": true/false,
"review_score": 6.33
}
}输出规格：
- 格式：JSONL + 可选的 CoT (Chain-of-Thought) 纯文本格式
- 预估产量：每个完整科研循环产出 1 条推理链，100 次运行 = ~100 条高质量链
- 特别价值：失败的假设 同样有训练价值（教模型”什么路走不通”）
- 筛选标准：推理步骤 ≥ 4 步 + 每步有明确的 evidence/reasoning 分离
成本估算：与方案一共享运行成本（同一批次同时采集）
实施周期：1 周（在方案一的 Hook 基础上增加推理链提取逻辑）
方案三（P0）· 评审-修订对生成
目标：利用 AI Scientist 的自动评审系统大规模生产”批判+改进”配对数据
为什么优先做？ 自我修正（Self-Correction）是当前 LLM 的重大短板。AI Scientist 的评审系统已证明准确率与人类评审相当（66% vs 69%），产出的评审意见结构化且可操作。
数据源：
- AI Scientist 的 5 评审员 + 元评审系统
- EvoScientist 的进化管理智能体（EMA）反馈
- AI Scientist v2 的 VLM 图表反馈循环
采集管线：
┌──────────┐ ┌───────────────┐ ┌──────────────┐
│ 原始论文 │────▶│ 5 AI 评审员 │────▶│ 元评审汇总 │
│ (LaTeX) │ │ 各出独立评审 │ │ 决定+理由 │
└──────────┘ └───────────────┘ └──────────────┘
│ │
▼ ▼
┌───────────────┐ ┌──────────────┐
│ 结构化评审 │ │ 修订指令 │
│ • Strengths │────▶│ • 具体改动点 │
│ • Weaknesses │ │ • 优先级 │
│ • Questions │ │ • 期望效果 │
│ • Score (1-10)│ └──────────────┘
└───────────────┘ │
▼
┌──────────────┐
│ 修订后论文 │
│ (改进版本) │
└──────────────┘
输出格式：
{
"original": "论文原文段落/全文",
"reviews": [
{"reviewer": 1, "score": 5, "weaknesses": [...], "suggestions": [...]},
{"reviewer": 2, "score": 7, "weaknesses": [...], "suggestions": [...]},
...
],
"meta_review": {"decision": "reject", "key_issues": [...]},
"revision": "修订后的版本",
"diff": "具体改动点",
"quality_delta": +1.5 // 修订前后评分差
}输出规格：
- 格式：JSONL，每条包含原文 + 评审 + 修订三元组
- 预估产量：每篇论文产出 5 条评审对 + 1 条修订对 = 6 条/篇，100 篇 = ~600 条
- 关键字段：
quality_delta（修订前后评分差），正值 = 修订有效 - 筛选标准：
quality_delta ≥ 0.5且修订涉及实质内容改动
实施周期：1 周（在方案一基础上增加评审数据提取逻辑）
方案四（P1）· 数据分析叙事合成
目标：从实验结果到图表解读的完整”数据驱动叙事”，训练模型的数据分析与沟通能力
数据源：
- AI Scientist 各模板的
plot.py输出 + 对应的论文 Results 章节 - EvoScientist 分析智能体（Analyze Agent）的全过程
采集管线：
原始实验数据（JSON）
│
▼
┌─────────────────┐
│ 数据 → 图表转换 │ 记录 plot.py 的输入/输出
│ • 选择图表类型 │
│ • 设计可视化 │
│ • 生成图片 │
└─────────────────┘
│
▼
┌─────────────────┐
│ 图表 → 叙事转换 │ AI Scientist v2 的 VLM 反馈
│ • 描述趋势 │
│ • 归因分析 │
│ • 支撑论点 │
└─────────────────┘
│
▼
结构化输出：
{
"raw_data": {...}, // 原始实验 JSON
"visualization_code": "...", // plot.py 代码片段
"chart_description": "...", // 图表的文字描述
"narrative": "...", // 嵌入论文的叙事段落
"key_findings": [...], // 提炼的核心发现
"statistical_claims": [...] // 带置信度的统计声明
}输出规格：
- 格式：JSONL + 关联的图片文件
- 预估产量：每篇论文 3-5 张图表 × 100 篇 = ~400 条
- 训练用途：Data-to-Text / Chart-to-Narrative / 数据分析 Agent
实施周期：2 周
方案五（P1）· 文献-想法映射蒸馏
目标：从”阅读 N 篇论文 → 生成新想法”的过程中提取创造性综合能力
数据源：
- AI Scientist 的 Semantic Scholar API 调用记录 + idea 生成链
- EvoScientist 的想法记忆库（Idea Memory Pool）
采集管线：
输入：论文摘要集合（5-20 篇相关工作）
│
▼
┌─────────────────────────────────┐
│ 文献综合过程 │
│ 1. 逐篇提取关键贡献 │
│ 2. 识别研究空白（Gap Analysis） │
│ 3. 交叉连接不同方向 │
│ 4. 生成候选想法（10+） │
│ 5. 评分+去重 │
│ 6. 选出 Top-3 │
└─────────────────────────────────┘
│
▼
输出：
{
"input_papers": [
{"title": "...", "abstract": "...", "key_contribution": "..."},
...
],
"gap_analysis": "当前方法在 X 方面存在不足...",
"candidate_ideas": [
{"idea": "...", "novelty_score": 8, "feasibility_score": 7, "source_papers": [1,3,5]},
...
],
"selected_idea": {...},
"reasoning": "选择此想法因为..."
}输出规格：
- 预估产量：100 次运行 = ~100 条文献-想法映射
- 训练用途：科研辅助 Agent、论文写作 Agent、创意综合能力
- 筛选标准：想法被 AI 评审员评分 ≥ 5/10
实施周期：1 周
方案六（P2·探索性）· 进化记忆知识蒸馏
目标：从 EvoScientist 的长期记忆演化中提取”元学习”数据——不是解决具体问题，而是”从经验中学会学习”
数据源：EvoScientist 进化管理智能体（EMA）的双记忆系统
- 想法记忆库：哪些研究方向有效、哪些走进了死胡同
- 实验技巧记忆库：哪些编码技巧、调参策略、调试方法被反复使用
采集管线：
运行 N 轮 EvoScientist（N ≥ 10，让记忆充分积累）
│
▼
┌─────────────────────────────────┐
│ 记忆快照对比 │
│ • Snapshot_0（初始空白） │
│ • Snapshot_1（第 1 轮后） │
│ • ... │
│ • Snapshot_N（第 N 轮后） │
│ │
│ 提取： │
│ • 新增了什么知识？ │
│ • 什么知识被强化了？ │
│ • 什么知识被修正了？ │
│ • 代码成功率如何变化？(34%→45%) │
└─────────────────────────────────┘
│
▼
输出：
{
"round": 5,
"new_insights": [
{"type": "idea", "content": "组合优化在小数据集上比...", "source_experiment": "exp_042"},
{"type": "technique", "content": "使用学习率余弦退火时..."}
],
"reinforced_insights": [...],
"corrected_insights": [
{"old": "增大 batch_size 总能...", "new": "batch_size 对...有边际递减...", "evidence": "exp_037,exp_041"}
],
"performance_delta": {"code_success_rate": 0.34 -> 0.39}
}输出规格：
- 预估产量：每 10 轮产出 ~50 条元学习记录
- 训练用途：教模型”从失败中学习”、“提炼可复用规律”
- 风险：EvoScientist 的记忆系统仍在演化中（v0.0.5），API 可能不稳定
实施周期：3-4 周（含环境搭建 + 长时间运行）
执行路线图
Week 1 Week 2 Week 3 Week 4
┌─────────────┬─────────────┬─────────────┬─────────────┐
│ 环境搭建 │ P0 批量运行 │ P1 方案启动 │ 清洗+评估 │
│ │ │ │ │
│ • Docker 沙盒│ • 300 轨迹 │ • 数据叙事 │ • 格式统一 │
│ • Hook 开发 │ • 100 推理链 │ • 文献映射 │ • 质量评估 │
│ • 日志格式 │ • 600 评审对 │ │ • 发布 v1 │
└─────────────┴─────────────┴─────────────┴─────────────┘
▸ P0 三条管线（方案 1/2/3）共享同一批运行 预计产出 ~1,000 条
▸ P1 两条管线（方案 4/5）在第 3 周启动 预计追加 ~500 条
▸ P2（方案 6）视 P0/P1 效果决定是否启动 探索性质资源需求与成本汇总
| 维度 | 估算 |
|---|---|
| API 成本（P0+P1） | Claude: ~400 |
| GPU 算力 | 实验执行需 1-2 张 A100（AI Scientist 模板均为小实验） |
| 人力 | 1 人全职 4 周，或 2 人各 2 周 |
| 预计总产出 | ~1,500 条多类型高质量训练数据 |
| 单条成本 | ~0.27（DeepSeek） |
数据飞轮效应
┌───────────┐ ┌───────────┐ ┌───────────┐ ┌───────────┐
│ 科研 Agent │───▶│ 过程数据 │───▶│ 质量筛选 │───▶│ 训练更强 │
│ 执行任务 │ │ 拦截采集 │ │ 三重验证 │ │ 基座模型 │
└───────────┘ └───────────┘ └───────────┘ └───────────┘
▲ │
└───────────────────────────────────────────────────┘
更强模型 → 更好的科研 → 更好的数据第一轮的 ~1,500 条数据用于 LoRA 微调验证概念；如果质量达标，第二轮扩展到 10x 规模（15,000 条），此时飞轮开始转动。
方向演进：五大趋势
- 从 ML-only 到全学科：物理世界的闭环实验自动化（机器人实验室 + AI 大脑）
- 从无状态到自我进化：跨项目、跨领域的长期科研直觉
- 从单体到科研团队模拟：PI/博士生/工程师/评审员各司其职
- Scaling Law 显现：模型能力 × 计算资源 = 论文质量
- 人机协作新范式：从”人在回路”到”人在环上”
局限与风险
技术局限：幻觉（引用不准确、数据编造）、深度不足（想法”幼稚或未充分发展”）、领域受限（仅 ML）、成功率低（v2 在 ICLR 仅 1/3 通过）。
伦理风险：论文洪水压垮评审系统、资历膨胀、知识污染、就业影响。
数据合成风险：
- 模型塌缩：用 AI 生成的数据训练 AI，需严格控制合成数据比例（建议 ≤ 30%）
- 分布偏移：科研场景的数据分布窄（主要是 ML 论文），需与通用数据混合
- Hook 稳定性：开源项目版本迭代快，数据采集 Hook 需跟进适配
总结
自动化科研正在从”能不能做”走向”做得好不好”。2024 年证明了可行性，2025-2026 年正在逼近人类质量水平。
对数据工程而言，这场范式革命的最大红利不在终点（论文），而在路上——科研过程本身就是最珍贵的训练数据金矿。
执行建议：立即启动 P0 三条管线（实验代码轨迹 + 推理链 + 评审修订对），4 周内产出 ~1,000 条高质量数据，验证飞轮是否转得动。这是一个低成本、高确定性的赌注——最坏的情况是花 $400（DeepSeek）得到一批有趣但用不上的数据，最好的情况是找到一条可持续的数据工厂路径。
参考来源
- Lu, C. et al. “Towards end-to-end automation of AI research.” Nature, 2026. DOI: 10.1038/s41586-026-10265-5
- Yamada, Y. et al. “The AI Scientist-v2.” arXiv:2504.08066, 2025.
- Lyu, Y. et al. “EvoScientist.” arXiv:2603.08127, 2026.
- Tie, G. et al. “A Survey of AI Scientists.” arXiv:2510.23045, 2025.
- Wei, J. et al. “From AI for Science to Agentic Science.” arXiv:2508.14111, 2025.
- Tang, J. et al. “AI-Researcher: Autonomous Scientific Innovation.” arXiv:2505.18705, 2025.
- Bran, A.M. et al. “Augmenting large language models with chemistry tools.” Nature Machine Intelligence, 2024.
- Boiko, D.A. et al. “Autonomous chemical research with large language models.” Nature, 2023.
- ScienceClaw. GitHub: github.com/Zaoqu-Liu/ScienceClaw.
- DeepScientist. arXiv:2509.26603, 2025. 西湖大学.