返回评测
代码生成 代码-领域特化 未饱和 模态 · 代码 任务 · 代码生成

SciCode

338 道来自 16 个科学领域的数值计算问题,最强模型 ~8%

Yale & Mila ·
已接入战绩榜 · 当前最高实测分 66.9% Claude Opus 5.5(Anthropic) on SciCode Artificial Analysis 统一协议复测 · 抓取于 2026-10-19 查看 →

考察能力

科学计算 数值方法 物理模拟

构建信息

数据规模
338 subproblems
评测方式
标准评测
核心指标
pass@k (%)

模型效果排行

🥇 o1-preview
7.6%
🥈 Claude 3.5
4.6%

为什么重要

揭示了 LLM 在科学计算上几乎无能为力——最强推理模型也只有 ~8%。覆盖 16 个学科的真实科研代码。

构建方式与示例

338 个子问题。例如:“用有限差分法求解二维热传导方程,边界条件为…”

关联基准与展望

关联:KernelBench、DS-1000。不足:需要领域知识+数值方法双重专长。

科学计算 数值方法