MolQuest 深度解读：用分子结构解析测 LLM 的真实科学推理能力

一句话定位

MolQuest：把「化学家解析未知分子结构」这件事做成了一个 Agent 动态基准，用真实实验谱图数据考 LLM 的溯因推理（Abductive Reasoning）和策略性实验规划能力。

• 论文：MolQuest: A Benchmark for Agentic Evaluation of Abductive Reasoning in Chemical Structure Elucidation
• 机构：Alibaba Group，2026-03-26
• 关键结论：最强前沿模型（GPT-5.2、Gemini 3-Pro、Qwen3-Max）准确率约 50%，多数模型低于 30%，远未解决

---

背景：化学家的日常工作为什么很难

分子结构解析（Molecular Structure Elucidation）是化学研究的基础日常：给你一个未知化合物，通过质谱（MS）、核磁共振（NMR）等谱图数据，推断出它的精确分子结构。

这件事极其困难，原因在于：

1. 高维约束满足问题

每一张谱图都给出一组约束——质谱给出分子量和碎片信息，¹H NMR 给出氢的位置和化学环境，¹³C NMR 给出碳骨架……模型必须同时满足所有约束，才能收敛到唯一结构。

一个氧原子的位置异构（positional isomerism）就会显著改变 ¹H NMR 的化学位移和耦合常数；反之，谱图中细微差异可能对应完全不同的分子骨架。

2. 不完整的部分可观测环境

真实实验中，科学家不会一次性拿到所有谱图——每次实验都有成本，需要决定「下一步测哪个谱」才能最高效地缩小候选空间。这是一个主动学习（active learning）问题。

3. 现有基准全都不够

MolQuest 之前的化学 AI 评测有三个共同问题：

问题	代表基准	具体缺陷
静态单轮 QA	ChemBench	难度饱和，容易数据污染
合成模拟数据	ChemIQ	缺乏真实噪声/峰重叠/系统偏差
被动响应	大多数	省略了实验规划和策略决策

---

MolQuest 的核心设计

任务形式化：分子结构解析 as CSP + Agent

MolQuest 把分子结构解析形式化为约束满足问题（CSP）下的多轮交互任务：

初始状态：模型只知道「有一个未知分子」
可用工具：Measure Molecular Weight / Obtain ¹H NMR / Obtain ¹³C NMR / ...
目标：主动规划实验顺序，整合所有谱图信息，给出最终分子结构（SMILES）

溯因推理的完整循环：

1. 基于初始观测（如分子式），生成候选结构假说
2. 主动选择「最有信息量」的下一个实验
3. 整合新证据，排除不一致假说
4. 反复迭代，直到收敛于唯一结构

这与科学家的真实工作流完全对应。

数据构建：真实数据 + 防污染设计

这是 MolQuest 的核心工程亮点：

真实实验数据：不用合成模拟，从真实化学文献的「Supporting Information」中提取谱图数据——包含真实噪声、峰重叠、系统偏差等现实 artifacts。

防污染设计：超过一半的测试样本来自2025 年之后发表的化学文献——这些数据在主流 LLM 训练截止日之后，有效规避了 data contamination 问题。

人工验证管线（Human-in-the-loop Pipeline）：

1. 从最新化学文献自动提取候选分子 + 谱图数据
2. 化学专家人工验证数据质量和任务可解性
3. 标注每个任务的「最优实验序列」作为 oracle reference

评测维度：不只看答案对错

MolQuest 设计了多维度评测指标（区别于单纯的最终答案准确率）：

指标	评测内容
Final Accuracy	最终给出结构是否正确（SMILES 相似度）
Experimental Efficiency	用多少步实验收敛（越少越好）
Decision Quality	每步实验选择是否合理（与 oracle 序列对比）
Hypothesis Revision	模型是否能在收到新证据后正确更新假设

---

实验结果：前沿模型只有约 50%

主要发现

MolQuest 评测了 12 个当前最强的 LLM：

核心结论：

• SOTA 模型（GPT-5.2、Gemini 3-Pro、Qwen3-Max）：Final Accuracy ~50%
• 多数其他模型：低于 30%
• 人类化学专家：接近 100%（有经验的化学家可以可靠解析）

这说明：即使是 2026 年最强的前沿推理模型，在「真实科学推理」上仍然存在根本性差距，而不只是知识量的差距。

失败模式分析

论文揭示了几个典型失败模式：

1. 实验规划策略差：模型倾向于按固定顺序获取所有可用谱图，而不是根据当前假说状态选择「最有价值的下一步」——缺乏科学家的信息效用判断。

2. 假说更新失败：收到新的谱图数据后，模型经常无法正确更新之前的结构假说，出现「确认偏误（confirmation bias）」——已形成的假说会抵抗与之矛盾的新证据。

3. 约束整合能力弱：当需要同时满足 5+ 个谱图约束时，模型的推理准确率显著下降——多约束整合是当前 LLM 的系统性弱点。

4. 化学知识应用问题：模型能背诵 NMR 规律，但无法将其精确应用于具体的谱图解读，尤其是在存在噪声和峰重叠时。

---

为什么这个基准重要

1. 「动态推理」vs「静态知识」的分水岭

ChemBench 等静态基准测的是「知识记忆」，而 MolQuest 测的是「在不确定性下的科学决策」——这是本质区别。

一个模型可以在静态化学题上得满分，但在 MolQuest 上不及格，因为后者需要：

• 主动信息获取（而不是被动接收）
• 动态假说管理（而不是一次性输出答案）
• 策略性实验规划（而不是穷举所有可能）

2. AI for Science 的真实门槛

MolQuest 揭示的 50% 上限意味着：当前 LLM 还没有达到「可以独立参与科学研究」的水平。科学家的价值不在于知识量，而在于「在不完整信息下做出正确决策」的直觉——这正是 MolQuest 所测量的。

3. 评测范式的创新

MolQuest 代表了一种新的评测哲学：把 LLM 放进动态环境里，而不是给它选择题。这与 ARC-AGI、OSWorld 的思路一致——真正的智能需要在交互中展现。

---

数据构建视角：MolQuest 对训练数据的启示

从预训练 / 中训练数据构建的角度看，MolQuest 揭示了几个值得深思的问题：

化学推理数据的稀缺性

MolQuest 需要的训练数据是：完整的多轮实验-推理轨迹，包含：

• 初始分子待解析
• 每步实验选择及其依据（why this experiment next）
• 谱图数据的解读过程
• 假说更新的推理过程
• 最终结构及证明

这类数据在互联网上几乎不存在——化学家的推理过程大多隐藏在实验记录本里，从未被数字化。

这是一个真实的数据空白：与代码（GitHub 上大量存在）不同，科学推理过程数据极度稀缺。

合成数据的机会

MolQuest 的框架本身提供了一个合成数据生成的思路：

1. 从化学数据库获取已知分子结构
2. 用量子化学计算模拟各类谱图（比真实实验更干净，但可控引入噪声）
3. 生成「最优解析轨迹」作为监督信号
4. 用于 fine-tune 或 mid-training

这实际上是一个「虚拟实验室 → 训练数据」的管线，类似于数学领域的合成证明数据。

约束满足推理的通用性

分子结构解析的核心能力——在多约束下进行溯因推理——是一种通用的科学推理能力，不局限于化学。

物理学（从观测推断模型参数）、生物学（从表型推断基因型）、工程学（从故障现象推断根因）都需要类似的能力。

这意味着：高质量的化学推理训练数据，可能在更广泛的科学推理上产生 transfer。

---

相关工作定位

基准/工作	领域	评测形式	数据真实性	主动规划
ChemBench	化学	静态 MCQ	部分合成	✗
ChemIQ	化学	静态 QA	合成模拟	✗
LLM-NMR	NMR	静态推理	真实	✗
MolQuest	化学（结构解析）	动态多轮	真实文献数据	✓
GPQA	多学科	静态专家题	手工题目	✗
ARC-AGI-2	抽象推理	交互	无	有限

MolQuest 在「科学领域 AI 评测」中占据独特位置：真实数据 + 动态交互 + 主动规划，三者兼备。

---

总结

MolQuest 是 2026 年「AI for Science」方向最值得关注的基准之一，原因：

1. 任务真实：不是考试题，是化学家的真实工作
2. 数据防污染：50%+ 样本来自 2025 年后文献
3. 诊断精准：多维指标揭示失败的根本原因
4. 结论有力：SOTA ~50%，说明问题尚未解决

对于预训练数据研究者而言，MolQuest 指向的数据方向尤其值得关注：科学推理轨迹数据（而不仅仅是科学知识数据）是下一个数据稀缺点。

---

论文：arXiv:2603.25253 | Alibaba Group | 2026-03-26