返回评测
领域专业 领域-科学 未饱和 模态 · 文本 任务 · 选择 / 判断

ChemBench

覆盖有机化学、无机化学、物理化学等多个子领域的化学推理评测

EPFL ·

考察能力

化学推理 分子识别 反应预测 安全知识

构建信息

数据规模
7000+ questions
构建方式
教材 + 考试 + 专家设计
评测方式
多选 + 开放式
核心指标
Accuracy (%)

资源链接

论文: arXiv:2404.01475 代码: github.com/lamalab-org/chem-bench

模型效果排行

🥇 GPT-4
~60% 2024-05

为什么重要

7000+ 道覆盖有机/无机/物化等子领域的化学推理题，发现 GPT-4 在安全相关问题上表现尤差。

构建方式与示例

教材+考试+专家设计。例如：“预测以下反应的主产物：苯 + Br₂ → ？（FeBr₃ 催化）“

关联基准与展望

关联：SciBench、SciEval。不足：主要是知识题，缺乏实验设计类评测。

化学 科学 推理