CoDA-Bench

为什么重要

CoDA-Bench 揭示了 Code Agent 在真实数据科学工作流中的关键瓶颈——不是”写代码能力”，而是”找数据能力”。在传统的 SWE-bench / HumanEval 等代码基准中，目标数据文件已明确提供给 Agent，测的是”给定数据后的代码能力”。但真实工作流中，用户往往不会提前整理数据——数据可能分散在包含 1000+ 文件的复杂目录中，格式多样、命名不统一、还夹杂大量主题相近但实际无关的文件。

核心发现：当前表现最好的 Code Agent 在 CoDA-Bench 上执行准确率仅 61.1%；在更难的 CoDA-HARD 子集上仅 49.6%——这意味着在真实数据科学工作流中，约 40-50% 的任务失败的原因是 Agent 找不到正确的数据，而不是写不出正确的代码。

构建方式

真实数据科学场景：从实际数据分析任务中提取，非合成场景
1000+ 文件复杂目录：测试 Agent 在包含大量干扰文件的环境中识别目标数据的能力
无 schema 提示：不告诉 Agent 文件名、路径、schema，仅给一句自然语言问题
双难度设置：
- CoDA-Bench 全集：61.1% SOTA
- CoDA-HARD 困难子集：49.6% SOTA
联合评估 Code Intelligence + Data Intelligence：同时考察代码生成和数据发现能力
完全开源：项目主页、论文、评估代码、数据集全部开源

任务示例

典型任务：“在 1000+ 文件中找出 2024 年第三季度的销售数据文件，然后计算各产品线的同比增长率并生成图表”
关键挑战：
- 销售数据可能是 CSV、Excel、Parquet 等多种格式
- 文件名可能是 Q3_sales_final_v2.xlsx、/data/2024/Q3/merged_data.csv 等
- 目录中可能有相似的干扰文件（Q3_forecast.xlsx、sales_summary_2024.json 等）
- 没有给出任何文件名、路径或 schema 提示

关键发现

数据发现是新瓶颈：61.1% 全集 SOTA / 49.6% 困难子集 SOTA 显示当前 Code Agent 失败的主要原因不是代码生成
与传统基准的巨大差异：在 HumanEval / SWE-bench 等传统基准上，主流模型已达 80-95%；但在 CoDA-Bench 上仅 49.6-61.1%，说明传统基准无法反映真实工作流挑战
开源数据集 + 代码 + 评估：完全开源推动社区可复现研究

与其他基准的对比

维度	HumanEval / SWE-bench	CoDA-Bench
数据预设	明确给定数据	必须自主探索 1000+ 文件
任务类型	算法/代码修复	真实数据分析
评测焦点	代码生成	数据发现 + 代码生成
真实场景映射	中等	高
主流模型 SOTA	80-95%	49.6-61.1%

关联基准

DSBench：数据科学 Agent 评测
MLAgentBench：机器学习 Agent 评测
MLE-bench：端到端 ML 任务
SWE-bench Pro：仓库级代码修复

不足与展望

评测数据规模相对有限（1000+ 文件 vs 实际生产环境的 10K+ 文件）
仅评测英文自然语言任务，未覆盖中文等场景
当前仅 2 个难度等级（CoDA-Bench / CoDA-HARD），需要更细粒度分级
数据集主要基于特定领域，金融/医疗/科学等领域的扩展待跟进
需要与现实工业数据分析场景（如 DataAgentBench / KAGGLE 等）进一步对齐

考察能力

构建信息

资源链接

模型效果排行