研究提案已修订

面向自主科学发现智能体的失败感知假设数据工程：从隐性失败知识挖掘到多样性保持验证

针对科学发现智能体训练数据系统性缺失失败知识的问题，提出 FAIL-DATA 框架，通过失败轨迹挖掘、失败感知假设增强和验证闭环校准三阶段注入失败知识并保持假设多样性

2026年5月13日 AI for Science Agent训练数据失败知识挖掘假设多样性科学发现智能体数据工程

背景与动机

自主科学发现智能体（Agentic AI Scientist）被视为 AI for Science 的终极目标之一，然而 Bisht 等人（2026）在系统性分析中指出：当前科学发现智能体根本不具备自主科学发现的能力，其核心瓶颈之一在于训练数据的结构性缺陷——LLM 训练语料几乎完全排除了科学探索中的隐性失败知识（tacit failure knowledge），包括负结果、废弃假设、实验失败的隐性经验和探索性死胡同。

这一数据缺陷产生三重后果：

死胡同重复探索：智能体缺乏对已知失败路径的认知，在假设空间中反复探索已被实践否决的方向，浪费计算资源和实验预算。
假设多样性坍缩：偏好优化（preference optimization）在训练中压缩输出多样性趋向共识（Bisht et al., 2026），导致智能体生成的假设收敛于文献中的主流观点，丧失生成颠覆性假设的能力。
知识-行动鸿沟：Sun 等人（2026）发现 LLM 在隐藏状态中已编码工具必要性知识（AUROC 0.89–0.96），但在生成时无法据此行动——这一”知识-行动鸿沟”同样存在于科学推理：智能体可能隐式感知某假设不可行但仍选择探索。

现有方案不足：传统科学基准仅衡量单轮预测准确率，缺乏物理实验反馈回路（Bisht et al., 2026）；ARIS（Yang et al., 2026）虽引入对抗性审查机制捕获无支撑声明，但其关注的是研究产出的质量审计而非训练数据本身的失败知识注入；StressEval（Chen et al., 2026）将模型失败转化为动态基准，但仅用于评估而非训练数据工程。没有一个现有工作从数据工程层面系统性解决科学发现智能体的失败知识缺失与假设多样性坍缩问题。

核心思路

提出 FAIL-DATA（Failure-Aware Informative Landscape for Data-Augmented Trajectory Engineering）框架，将科学探索中的失败知识显式建模为一等训练数据对象，通过三阶段闭环系统性注入失败知识并保持假设多样性。

核心主张：科学发现智能体的训练数据应同时包含”成功路径”与”失败路径”的完整拓扑，且失败路径应携带失败因果结构（为何失败、在哪个推理步骤失败、与哪些成功路径共享前缀），而非简单的负例标签。

与现有工作的关键区别：

维度	现有工作	FAIL-DATA
失败知识表示	二值标签（正/负）	失败因果结构图（共享前缀+分歧点+失败机制）
多样性保障	依赖温度采样	基于多元偏好信号的 Nash 议价解（Falahati et al., 2026）
验证机制	事后审查	仿真验证器 + 对抗性审查的闭环校准
知识-行动鸿沟	未处理	失败感知探针 + 预填充引导

技术路线

阶段一：失败轨迹挖掘（Failure Trajectory Mining）

1.1 科学文献失败信号提取

从科学文献中挖掘三类失败知识源：
- 显性失败：负结果报告（negative results）、方法局限性声明、retraction 通知
- 隐性失败：论文中”future work”段落暗示的失败尝试、补充材料中的消融实验失败组
- 程序性失败：实验方法论中隐含的”踩坑”经验（如特定的样本制备条件会导致数据偏差）
使用 LLM 辅助的信息抽取管线，将非结构化文本转化为结构化失败记录（失败类型、涉及实体、因果链、失败阶段）

1.2 仿真驱动的失败轨迹生成

利用科学仿真器（如分子动力学模拟、流体仿真）作为验证器，系统性地探索失败边界：
- 在参数空间中执行网格/随机采样，记录失败配置
- 从成功轨迹出发，沿关键参数方向扰动至失败，提取成功-失败共享前缀
- 保留完整的中间状态序列，而非仅记录终态标签

1.3 失败知识图谱构建

将挖掘的失败记录构建为有向无环图：
- 节点：假设/实验配置的中间状态
- 边：推理/操作步骤
- 标注：每个节点的成功/失败概率、失败机制分类
支持后续阶段的失败感知采样和路径规划

阶段二：失败感知假设增强（Failure-Aware Hypothesis Augmentation）

2.1 失败感知假设树合成

基于失败知识图谱，构建假设探索树：
- 根节点：初始科学问题
- 分支：候选假设（包含已被否决的假设，标注失败原因）
- 叶节点：实验验证结果
关键设计：保留被否决假设的推理路径作为训练数据，而非仅保留成功假设
通过对比学习目标，训练模型区分”有前景但失败”与”从一开始就不可行”的假设

2.2 多元偏好信号的多样性保持

借鉴 Falahati 等人（2026）的理论结果，引入多元偏好信号防止假设多样性坍缩：
- 定义 N 个偏好维度（新颖性、可验证性、与现有理论的一致性、实验可行性等）
- 每个维度由独立的奖励函数评分
- 证明在多元偏好下合成数据收敛至加权 Nash 议价解，在竞争性高奖励区域间分配概率质量
与单一偏好优化（导致坍缩）的关键区别：不追求单维度最优化，而是寻求多维 Pareto 均衡

2.3 失败感知探针与预填充引导

借鉴 Sun 等人（2026）的 Probe&Prefill 方法，针对科学推理场景：
- 训练轻量级线性探针，从智能体中间层隐藏状态中读取”假设可行性”信号
- 当探针检测到智能体即将探索已知失败路径时，预填充引导句将其转向替代方向
- 关键改进：探针不仅检测二值可行性，还输出失败类型预测（参数错误/方法不适用/理论冲突），实现差异化引导

阶段三：验证闭环校准（Verification Loop Calibration）

3.1 仿真验证器集成

将科学仿真器作为训练数据的自动验证层：
- 对每个合成的假设-实验对，运行仿真验证其物理一致性
- 将仿真结果反馈至失败知识图谱，更新失败概率估计
- 区分”仿真中失败但真实世界可能成功”的边界情况

3.2 对抗性审查闭环

借鉴 ARIS（Yang et al., 2026）的对抗性多智能体审查架构：
- 执行器模型生成假设和实验设计
- 审查器模型（异构模型族）检测无支撑声明和逻辑缺陷
- 审查结果反馈至失败知识图谱，形成闭环

3.3 失败知识新鲜度维护

随着科学前沿推进，部分”失败知识”可能被推翻：
- 建立失败知识的时间衰减机制和可推翻性标注
- 当新论文推翻先前负结果时，触发失败知识图谱的增量更新
- 设计失败知识的置信度评估函数，综合考虑引用次数、时间衰减、领域权威性

关键技术挑战

失败知识的稀疏性与噪声：科学文献中失败知识高度稀疏且表述隐晦，提取精度与召回率的平衡是关键挑战。拟通过 LLM 辅助抽取 + 领域专家校准的混合策略应对。
仿真器覆盖度：科学仿真器仅能覆盖物理规律的子集，无法验证所有假设。拟通过多仿真器集成和不确定性量化缓解。
多元偏好的校准：多个偏好维度的权重设定直接影响假设分布，需领域适配。拟通过元学习从少量专家标注中学习偏好权重。
失败知识的时效性：科学知识不断演进，失败知识需持续更新。拟设计增量更新机制，避免全量重建。

预期成果

定量目标

在科学假设生成任务中，假设多样性（以蒸馏熵衡量）提升 ≥30%，同时保持假设质量（以人类专家评分衡量）不下降
智能体在探索已知失败路径上的浪费率降低 ≥50%
假设-实验对的仿真验证通过率从当前约 40% 提升至 ≥65%

定性目标

构建首个包含结构化失败知识的科学发现训练数据集（覆盖至少 3 个科学领域）
建立失败知识的标准化表示格式和评估协议
演示失败感知训练数据对智能体科学推理行为的可解释改进

可能的影响

方法论层面：将”失败知识”引入 AI for Science 训练数据工程，开辟新的数据质量维度
实践层面：减少科学发现智能体的无效探索，加速从假设到验证的迭代周期
理论层面：为多元偏好下合成数据多样性保持提供形式化保证，推进数据工程的理论基础
生态层面：推动科学社区更系统地记录和分享失败经验，改变当前”只发表成功”的发表文化