为什么重要
揭示了 LLM 在科学计算上几乎无能为力——最强推理模型也只有 ~8%。覆盖 16 个学科的真实科研代码。
构建方式与示例
338 个子问题。例如:“用有限差分法求解二维热传导方程,边界条件为…”
关联基准与展望
关联:KernelBench、DS-1000。不足:需要领域知识+数值方法双重专长。
338 道来自 16 个科学领域的数值计算问题,最强模型 ~8%
揭示了 LLM 在科学计算上几乎无能为力——最强推理模型也只有 ~8%。覆盖 16 个学科的真实科研代码。
338 个子问题。例如:“用有限差分法求解二维热传导方程,边界条件为…”
关联:KernelBench、DS-1000。不足:需要领域知识+数值方法双重专长。