ScholarCatalyst 1.0

为什么重要

现在的 AI 系统已经能在定义清楚的子问题上推进科研了。但科研里真正困难的那一步——一个模糊的、半成品的想法，应该建立在哪个已有的想法之上——仍然主要由人来做。

这件事之所以长期无法评测，是因为数据不存在。已发表的论文记录了项目的结果，但塑造这个结果的构思过程几乎没有留下痕迹。而参考文献也不区分”提供了非显而易见的关键洞见”和”只是被引用的相关工作”。

ScholarCatalyst 的做法是直接去找知道答案的人：论文的第一作者本人。他们清楚哪些前期工作真正推动了自己刚完成的项目。

这里的关键概念是催化剂论文（catalyst papers）：那些其想法能够、或本可以实质推进某个研究项目的先前论文。注意这个定义里包含了本可以——有些论文项目作者根本没有引用，但它其实能提供关键思路。这一点在后面的数据里会成为压垮所有系统的最后一根稻草。

构建方式

语料。 190,896 篇计算机科学论文：181K 篇 2020–2024 年的 arXiv 论文（覆盖计算机科学主要类别）+ 从源论文解析出的参考文献。论文明确承认这个规模远小于 arXiv 的 300 万篇，也远小于 Semantic Scholar 索引的 2.25 亿篇——所以基准里的检索是真实问题的简化版，真实问题的难度只会更高。

源论文。 207 个项目来自 184 位研究者，都是 2025–2026 年发表的计算机科学与人工智能论文，其中 100 篇以上拿到 oral、spotlight 或 award。招募方式两种：邀请 2025–2026 年顶级会议（ICLR 2026、ICML 2026、NeurIPS 2025、ACL 2026、CVPR 2026、CoLM 2025、CoRL 2025）的 oral/spotlight/award 论文第一作者，以及向 2025 年以来任何顶会论文的第一作者、共同第一作者与通讯作者发出公开征集。

查询的两种类型。 这个设计是本基准方法论上最讲究的地方：

• Core Research Query（CoreQ）：项目在解法还未知时的核心研究问题。207 条。平均 3.19 个正例、10.01 个难负例，平均长度 131.8 token。95.5% 的正例被源论文引用过。
• Subfield-specific Query（SubQ）：更局部的研究方向或子领域，项目可以通过它推进。687 条。平均 6.09 个正例、6.88 个难负例，平均长度 63.5 token。43.6% 的正例从未被源论文引用。

为什么要有两种：一篇论文可能对项目的整体概念架构有用，却不是某个具体技术方向的最佳选择，反之亦然。这两件事必须分开测。

自动化预标注。 用 Gemini 3.1 Pro 从结构化源论文及其参考文献生成候选查询与理由，再用 BM25 与 Qwen3-Embedding-8B 召回未被引用的候选，Gemini 3.6 Flash 按科学相关性重排，每查询保留 10 个候选。保留 10 个这个数字是在”覆盖潜在假负例”和”作者可承受的审阅量”之间的折中。

作者校验。 网页界面里作者可以校验、修订或重写任何一条预标注，并逐个判定候选论文是否提供能推进该项目的洞见，同时写下理由。这些作者校验过的实例才是基准的相关性监督信号。

后处理。 894 条查询里 764 条（85.5%）原样通过一致性复核，剩下的只改写泄露最终解法或把工作当作已完成的措辞，不改变作者的原意与语气。

评测设置。 每条查询只从 P<S 里检索——只包含源论文 S 完成之前发表的论文。主实验隐藏源论文本体、其参考文献和外部联网访问。这个设计近似还原项目进行时的信息状态，堵死了直接利用完稿论文的路径。

关键发现

一、所有系统都拿不到一半

主实验（截止期前的系统）里，通用稠密检索器表现最好，但 CoreQ 上只把 39% 的作者认定论文放进前 20，SubQ 上 51%。

更值得注意的是两类专门为科学文献设计的检索器：SPECTER2 和 OpenScholar 反而显著落后——CoreQ 上落后通用模型至少 16 个点，SubQ 上落后至少 27 个点。BM25 与 LateOn 在 CoreQ 上落后 15–16 点、SubQ 上落后 18–25 点。

结论很硬：在引用信号上做领域专用训练，本身并不能解决这个问题。它优化的目标（引用关系）与这里要测的目标（启发关系）不是一回事。

二、Agentic 搜索并不优于它自己调用的检索器

这是标题级结论。基于 GPT-4.1 和 o3 的搜索 Agent，与它们内部调用的那个 Gemini Embedding 2 相比，Recall@20 基本持平甚至更低（0.42 vs 0.48）。

论文给出的诊断是候选覆盖：不管模型怎么推理，Agent 只能通过它发出的搜索查询与语料交互。语料越大，这个约束越致命，因为 Agent 只能检视语料的极小一部分。证据是 grep Agent 在搜索过程中只遇到 8% 的 gold 论文，而 tool-calling Agent 是 46%（同一张图，GPT-4.1 骨干）。

于是有了那句反直觉的观察：Agent 的召回随骨干模型能力上升，但即便最强模型也只是贴近嵌入检索器，无法超过它。瓶颈不在”看懂了没有”，而在”能不能进入候选池”。

三、重排的收益被候选覆盖锁死

把 Gemini-Embedding-2 的 top-K 候选交给 LLM 重排，分两种条件：原样重排，以及gold 注入（把缺失的正例换进候选池，池大小不变）。

结果：越强的重排器从 gold 注入里获得越大的 Recall@5 提升。两条曲线之间的缺口随模型能力扩大。

这个设计的含义是：强重排器的”挑对”能力，只有在那些论文进得了池子的时候才有意义。反过来读——现在花在重排器上的力气，有很大一部分被召回环节浪费掉了。

四、查询改写不仅没用，HyDE 是灾难

如果检索器漏掉论文只是措辞问题，那么一个读过研究问题的 LLM 应该能通过改写找回一部分。事实是没有任何一种策略做到了，两种 HyDE 变体还大幅降低召回。

论文由此推断：嵌入空间本身就没有把催化剂论文放在查询附近。这不是表述问题，是表示问题。

五、硬负例与正例一样「相似」，甚至更相似

用两种相似度度量（词汇相似度 = 查询独有词出现在候选标题摘要中的比例；语义相似度 = Qwen3-Embedding-8B 下的余弦相似度）比较正例与硬负例，结果是：硬负例在两种度量上至少与正例一样相似。

这一条同时解释了前面好几件事：为什么查询改写没用、为什么 grep 和嵌入工具构造出的候选池天然不利、为什么领域专用检索器会输。因为判别”科学上有用”与”主题上相关”这件事，相似度给不出任何信号。

六、发表记录无法反推灵感来源

• SubQ 正例中 43.6% 未被源论文引用，其中 67.8% 与源论文没有任何共同参考文献。
• 在被引用的正例里，引用意图标签也识别不出灵感：只有 46.2% 的 CoreQ 正例和 34.0% 的 SubQ 正例带有 uses 或 extends 标签。
• 把整篇完稿源论文连同参考文献一起给 LLM，也识别不出来：Gemini 3.1 Pro 提出的候选平均只覆盖 32.2% 的 CoreQ 正例，且在 28.0% 的实例里完全没命中任何关键灵感。

这条既是基准的方法论辩护（不能靠自动抓取引用关系造数据，必须找作者），也是一个对”用 LLM 做文献综述”的直接警告。

七、灵感类型是多样的，且超过一半是复合的

对 663 条关键灵感理由做九类型分类，作者最常归功的是：改编了某项技术（method）、支持了某个方向的实证发现（evidence）、把想法推广到新场景（generalization）、以及某个缺陷催生了新做法（limitation）。55.8% 的理由同时属于不止一类。

八、给 Agent 源论文上下文有帮助，但帮助来自”引导搜索”而非”记忆”

Gemini 3.7 Flash 的 tool-calling Agent 在 203 条查询的截止期切片上：

参考文献包含 95% 的 CoreQ gold 论文，于是召回飙到 0.74——这是泄漏对照，不是可用配置。真正有信息量的是中间两行：给标题和摘要能涨 0.11，而不给搜索工具、只给标题和摘要的闭卷只有 0.31，低于纯语料搜索。说明源上下文的作用是引导搜什么，不是让模型凭记忆报论文名。

另一个方向的实验同样印证：让 Agent 读超过摘要的全文，Recall@20 变化最多 0.04，最好的 SubQ 策略仍然落后检索器（0.50 vs 0.55）。瓶颈在”知道该搜什么”，不在”读懂已经找到的东西”。

九、天花板在哪里：一个初步的人类参照

论文自己承认这个问题的性能上限（skyline）是个开放问题，并给出了一个非常初步的锚点：在一篇论文上让三位共同作者各自标注，每人只标约 7 个正例，能找回第一作者标签的 43–60%，精度 84–88%。

论文把这个数字与”最好系统整体 R@5 的 0.24”对比，认为还有相当空间。但请注意这个对比的口径：43–60% 是人类召回，0.24 是系统在 R@5 下的召回，两者不是同一 k。真正能对齐的读法是——人类之间的一致性本身也只有六成上下，说明”哪些论文启发了项目”这件事在人与人之间也不是完全客观的。

论文还主动引用了 ImageNet 的教训：人类参照准确率 94.9%（top-5）后来被超越，而重标注研究发现后续的提升越来越反映原始标签的癖好。催化剂论文检索更难这样审计，因为除了作者本人，任何人的重标注成本高，且测的是另一个目标（“一个知情的外人能推断出什么”）。

如何读这份榜单

• topResults 按 CoreQ 的 R@20 降序。并列条目（三行 0.37）按 nDCG@20 打破顺序。
• 三行 Fable 5.1 不可与主实验比较。它的知识截止是 2026 年 6 月，很可能已经在训练里见过大部分源论文，论文用 ‡ 单独标出、仅作对照。即便如此，它也只到 0.53——即便见过答案，也只拿回一半。
• CoreQ 与 SubQ 的难度方向相反且原因已知：CoreQ 的查询更长（131.8 token）、正例更少且几乎全被引用（95.5%），SubQ 的正例更多但有 43.6% 从未被引用。前八名里 Qwen3-Emb-8B 的 SubQ 0.51 是全场最高，而它的 CoreQ 只有 0.37——同一个检索器在两个查询类型上的排名会换位。
• Agent 行做过排名回填：当 Agent 持有的论文不足 k 篇时，用搜索过程中见过的论文和 Gemini-Emb-2 的结果补齐。主发生在 grep Agent（894 条查询中有 440 条在 R@20 处需要回填，tool-calling 与 deep research 分别只有 10 条和 95 条）。读 grep 行的 R@20 时要记住这个回填比例。
• 开源权重占了前八里的两席（Qwen3-Embedding-4B 与 8B），且 8B 拿到了全场最高的 SubQ 召回。

局限

论文自己列出的限制有三条，都值得当真：

第一，覆盖范围是 2025–2026 年的计算机科学论文，且各研究方向分布不均（见论文表 8），结论未必迁移到其他学科。

第二，标签是作者的回顾性判断，受后见之明影响。作者知道项目后来怎么走的，再回头判断”哪些论文本可以推进它”，这个反事实判断天然带偏差。

第三，语料只有 19 万篇，而真实研究者面对的是 Semantic Scholar 的 2.25 亿篇。论文明确说本基准是真实问题的”简化版”，所以这里的低召回是对真实场景的乐观估计。

还有一条论文提到但没充分展开的：49.5% 的作者认定的催化剂论文来自项目所属学科之外。这意味着”让领域专家检索自己领域”这条路本身就覆盖不到一半的正确答案——这也正是论文提出的第二个里程碑（超越任何单个专家的检索）的现实依据。