为什么重要
Text-to-SQL 这一族基准有个公开的尴尬：它们测的是「写出一条查询」，而真实的企业数据分析岗要做的是「跨几十张表把事实还原出来，做完统计分析，然后基于结果动手」。Argo-Bench 的摘要把这三段拆得很清楚，并且顺手补了一刀——已有 text-to-SQL 基准的答案键被审计出大量错误。
更麻烦的是规模。真实企业数仓太敏感，不可能公开，于是过往基准只能建在公开数据集上，结果就是「一个业务事件装在一张表里」。Argo-Bench 的解法不是去拿真实数仓，而是造一个真的：用公开数据、同行评议的行业文献和监管文件共同驱动一个模拟器，模拟一家 2024 年在纽约跑了 8,100 万订单的外卖平台——有真实的经济学约束、欺诈模式和市场激励。然后把这个世界导出成一个 235 张表、74.9 亿行的 ERP 数仓，schema 照着 Oracle E-Business Suite 建模。
这一步把「规模」从形容词变成了可测的东西：
| 基准 | 每库表数 | 每库行数 | 数据来源 | 自洽系统 | Python/ML | 动作被评分 | 真值形式 |
|---|---|---|---|---|---|---|---|
| BIRD (2023) | 7.3 | 549K | 公开 | ✗ | ✗ | ✗ | Gold SQL |
| Spider 2.0 (2025) | 52.6† | n/r | 公开 | ✗ | ✗ | ✗ | Gold SQL |
| BEAVER (2024) | 101.5 | n/r | 私有 | ✓ | ✗ | ✗ | Logged SQL |
| DSBench (2025) | n/r | n/r | 公开 | ✗ | ✓ | ✗ | 答案键 |
| DABstep (2025) | n/r | 138K | 真实 | ✗ | ✓ | ✗ | 答案键 |
| τ-bench (2025) | 3 | 2.8K | LLM 造 | ✗ | ✗ | ✓ | 目标状态 |
| CRMArena-Pro (2026) | 25 | 55K | LLM 造 | ✓ | ✗ | ✗ | 生成器 |
| Argo-Bench | 235 | 7.49B | 模拟 | ✓ | ✓ | ✓ | 潜状态 |
八行里只有 Argo-Bench 把「自洽系统」「Python 与 ML」「动作被评分」三栏全部点亮。表数比第二名 BEAVER 高一倍多，行数比所有可比基准高四个数量级——BIRD 的 549K 行对 Argo-Bench 的 74.9 亿行差了约 13,600 倍。
构建方式
世界与数仓
模拟器的真值状态对 Agent 完全不可见。Agent 看到的只有那个 ERP 数仓；它必须在动手之前先把事实从数仓里还原出来。这个设计直接把「查得出数」和「知道该查什么」合成了同一道题。
数仓的构成（论文逐个表列出）：
| 模块 | 表数 | 行数 |
|---|---|---|
| 订单与主体 | 51 | 723M |
| 财务 | 79 | 4.18B |
| 自定义扩展 | 76 | 2.59B |
| 系统（AOL） | 29 | 17.4K |
其中订单头表 OE_ORDER_HEADERS_ALL 单表 8,100 万行（对应 2024 年订单量），订单行表 OE_ORDER_LINES_ALL 4.46 亿行。自定义扩展里装着外卖平台特有的东西：派单与配送（10 表 4.31 亿行）、骑手（8 表）、骑手薪酬与激励（9 表 1.41 亿行）、促销与会员（14 表 2.75 亿行）、账户设备与支付风险（12 表 4.43 亿行）。
喂给模拟器的公开数据不是随便堆的：Overture Places 的 45,834 家餐厅、DOHMH 的餐饮检查记录、1.07M 个住宅地址点、MapPLUTO 的 85.7 万个税区地块、TLC 的 260 个出租车区、OpenStreetMap 路网、ACS 2020–2024 人口构成、2020 人口普查姓氏、WGND 2.0 名字国别、NYC 婴儿名、SSA 出生记录、NANPA 号段、LODES 2023 通勤流、TLC 高量网约车行程、GHCN 中央公园日度天气、NOAA LCD 小时降水、DoorDash 2015 导出、ATUS 2024 时间使用、Google Local 与 Yelp 评价曲线、MenuStat 连锁菜单、Wayback 抓到的 1,648 条促销、Grubhub 制备时长、QSR 得来速研究、芝加哥出租车行程、Citi Bike 车速、DCWP 骑手研究报告、IEEE-CIS 欺诈可分性、RBA 登录、UCI Online Retail II 退货、DCWP 季度报告、SEC 10-K 报表形状。
工具面：只有四个
Agent 侧的接口刻意做得很窄：
list_tables()—— 列出数仓里所有表describe_table(table)—— 按序给出列、类型、可空性run_sql(sql)—— 只读查询，返回前 50 行；完整结果（至多 100 万行）落成 Parquet 供后续加载run_python(code)—— 持久解释器，变量跨调用保留，预装 pandas / numpy / polars / scipy / statsmodels / scikit-learn / matplotlib / seaborn / OR-Tools
没有「给你一份相关表清单」这种照顾。两百多张表摆在那里，先想清楚看哪一张本身就是考点。
九种评分器
Argo-Bench 不是「跑 SQL 对答案」，而是「交作业然后看后果」。评分按动作类型分九种（表内合计 209 道，与正文宣称的 210 差 1，论文未说明原因）：
| 模式 | 判分依据 | 任务数 |
|---|---|---|
| forecast | 加权区间分（WIS），按参照预测的尺度折算 | 72 |
| cost_set | 封禁/冻结动作省下的成本（论文式 (1)） | 43 |
| data_source | 先查结构契约，再查每个取值 | 36 |
| presence | 是否提交了某类文件（如书面说明） | 34 |
| id_set | ID 集合与键的重合度（F1） | 28 |
| keyed_value | 逐个键的取值落在容差内 | 22 |
| table | 提交的表按关键列逐行比对、逐值容差 | 14 |
| allocation | 在模拟器里实际拿到的可达节省份额 | 9 |
| binary | 全对或全错 | 1 |
对应地，Agent 能提交的动作有 12 类：file_forecasts（72）、publish_data_source（36）、note（34）、ban_couriers（26）、report_metrics（24）、file_schedules（23）、ban_customers（22）、hold_payouts（12）、ban_merchants（10）、remediate_payments（3）、report_pay_periods（1）、discontinue_promo_codes（1）。
封禁骑手、冻结放款、发放补薪——这些动作没有「标准答案文本」可比对，只能看它在模拟器里造成了什么。
时间 cutoff 与防污染
任务按「政策冲击」的时间线组织，并且每题带自己的数据 cutoff：冲击前（3 月）、刚发生（4–5 月）、当年晚些时候（6–11 月）、监管检查（8–12 月）、仪表盘（12 月）。Agent 只能用 cutoff 之前的数据作答——这让「背答案」在构造上失效。
关键发现
一、最强模型也只在三分之一的任务上过关
14 个前沿与开源权重模型里，最好的 Claude Opus 5.5 只有 34.8% 的任务拿到 95 分以上，平均分 59.5（95% 区间 [52.0, 67.1]）。第二名 GPT-6 Astra 是 27.6% / 51.8。
榜尾的形状更能说明难度：Claude Haiku 4.5 只有 1.4% 解出率、5.5 分；GPT-6 Luna 7.6% / 15.0。从榜首到榜尾，Solved 率差 24.9 倍——这在 2026 年已经饱和的编码类基准上是看不到的。
二、「能解出几道」和「平均多少分」是两条不同的排序
按 Score 排序和按 Solved 排序，中段会明显错位：
| 模型 | Score | Solved | 错位 |
|---|---|---|---|
| Gemini 3.8 Flash | 26.2 | 16.7% | Score 第 7、Solved 第 9 |
| DeepSeek V4.1 Flash | 25.4 | 17.6% | Score 第 8、Solved 第 7 |
| Qwen 3.8 Max | 24.4 | 17.1% | Score 第 9、Solved 第 8 |
| Muse Spark 1.3 | 20.7 | 13.8% | 两者同为第 11 |
DeepSeek V4.1 Flash 解出率比 Gemini 3.8 Flash 高 0.9pp，总分却低 0.8 分——它把少数题做得很干净，其余题近乎白卷；后者则处处拿一点分。这与 Mr.LHDR、KNOWS 等基准上观察到的「做了很多事但没一步做完整」是同一现象。
三、推理档位的收益差 1.6 倍，且低档位排序会翻转
论文给了四档推理预算的完整扫描：
| 模型 | Low | Medium | High | Extra-high | 低→超高增幅 |
|---|---|---|---|---|---|
| Claude Opus 5.5 | 32.6 | 49.6 | 55.5 | 59.5 | +26.9 |
| GPT-6 Astra | 33.3 | 45.1 | 47.6 | 51.8 | +18.5 |
| Claude Sonnet 5.5 | 19.5 | 25.4 | 40.3 | 51.8 | +32.3 |
| GPT-6.1 Sol | 24.6 | 35.9 | 43.6 | 49.5 | +24.9 |
| GPT-6 Sol | 19.5 | 28.2 | 30.7 | 36.8 | +17.3 |
| Muse Spark 1.3 | 16.7 | 20.2 | 19.7 | 20.7 | +4.0 |
两条反直觉的读法：
- 在 Low 档，GPT-6 Astra 的 33.3 分高于 Opus 5.5 的 32.6。谁更「强」完全取决于你愿意给多少推理预算——这条结论与 Terminal-Bench 4.0 上「Sonnet 5.5 反超 Opus 5.5」、DeepSWE 上「high 档胜过 max 档」是同一族现象：档位是评测的一部分，不是评测的外部条件。
- Muse Spark 1.3 加推理预算几乎没有收益（+4.0），而 Sonnet 5.5 拿到 +32.3。同一个「多想一会儿」的动作，在不同模型上的回报差 8 倍。
另外有三行出现倒挂：Gemini 3.8 Flash 的 High（26.2）低于 Medium（26.9），DeepSeek V4.1 Flash 的 High（20.5）低于 Low（21.6），Muse Spark 1.3 的 High（19.7）低于 Medium（20.2）。
四、分域：财务几乎都能做，预测几乎都做不了
五个业务域的分数（Forecast / Fraud / Finance / Dashboard / Compliance）拉得很开：
| 模型 | 预测 | 欺诈 | 财务 | 仪表盘 | 合规 |
|---|---|---|---|---|---|
| Claude Opus 5.5 | 35.3 | 66.1 | 90.0 | 84.6 | 81.6 |
| GPT-6 Astra | 39.5 | 48.0 | 85.8 | 71.0 | 85.7 |
| Claude Sonnet 5.5 | 34.6 | 62.5 | 75.6 | 54.1 | 86.9 |
| GPT-6.1 Sol | 38.4 | 47.6 | 87.1 | 63.4 | 82.8 |
| Claude Haiku 4.5 | 0.4 | 9.3 | 19.2 | 0.0 | 35.7 |
预测域是所有模型的地板：最好的 Astra 也只有 39.5，Haiku 4.5 是 0.4。财务域则相反，Opus 5.5 拿到 90.0、GPT-6.1 Sol 87.1。这个结构与任务构成吻合——预测占 72 道题（最多的一类），而它恰恰是加权区间分判分、最不容错的一类。
值得注意的是预测域的榜首是 Astra 而非总分榜首的 Opus 5.5（39.5 vs 35.3）。总分第一并不等于每一域第一，这一点与 Terminal-Bench 4.0 上「Astra 是唯一在 software 域过 60% 的模型」同构。
五、失败形态：找对表只有 3 次，找对行但边界错了 24 次
论文给了一道会员窗口题的 47 次运行拆解：
| 结果 | 次数 |
|---|---|
| 取对了表 | 3 |
| 行对了，但会员窗口按合约日期在终止处截断（多算 7,664 个窗口） | 12 |
| 行对了，但会员窗口未截断（多算 36,824 个窗口） | 12 |
| 行对了，其他错误 | 6 |
| 键列选错 | 4 |
| 什么都没交 | 10 |
47 次里只有 3 次找对了表。而真正致命的不是找错表，是「表对了、行也对了，但边界条件差一点」——这一类占了 24 次。多算 36,824 个会员窗口和少算几个，在模拟器里的后果是几百万美元的差别。
六、做对这道题的模型赚了 309 万美元，做错的那家亏了 8.6 万
论文里最刺眼的一组对照是 GPT-6 Astra 与 Claude Opus 5.5 在同一道封禁题上的表现：
| GPT-6 Astra | Claude Opus 5.5 | |
|---|---|---|
| 得分 | 0 | 99 |
| 预算是否达标 | 是 | 是 |
| 净节省 | −$86,281 | $3,089,763 |
| 无差别一刀切的节省 | $402,037 | $402,037 |
两个模型都满足了任务里明确的预算约束，都”完成了任务”。区别是 Astra 的方案不但没省钱，还净亏 8.6 万美元——而哪怕什么都不做、直接一刀切封禁，也能省 40 万美元。Opus 5.5 则拿到了 309 万美元的净节省。
这条比任何百分比都更能说明 Argo-Bench 想测的东西：在企业场景里，“做完了”和”做对了”之间隔着一只符号。用 0/1 完成率或答案文本相似度评分的基准，测不出这个差别。
七、搜索范围不是越大越好
论文给出的搜索范围梯度对照（不同任务变体下的平均分）：
| 搜索范围 | 平均分 |
|---|---|
| 1,500–15,000 单的门店 | 28.6 |
| 1,500–45,000 单的门店 | 16.8 |
| 全部门店 | 21.6 |
| 全部门店 + 更少机制提示 | 15.5 |
把搜索范围从「1,500–45,000 单」扩到「全部门店」，平均分从 16.8 涨到 21.6；但收窄到「1,500–15,000 单」反而拿到最高的 28.6。在 235 张表、74.9 亿行的数仓里，「多看一点」并不自动等于「看得更准」。
八、成本：每解出一道题的价格，最便宜的模型反而最贵
论文单列了 BigQuery 侧的开销（$ 每解出一道题）：
| 模型 | 均值 $/任务 | 中位数 $/任务 | 每任务 TiB | 未解出率 | $ 每解出 |
|---|---|---|---|---|---|
| GPT-6 Astra | 0.61 | 0.13 | 0.097 | 15% | $2.20 |
| Claude Opus 5.5 | 0.82 | 0.27 | 0.132 | 9% | $2.37 |
| Claude Sonnet 5.5 | 0.68 | 0.28 | 0.109 | 30% | $2.39 |
| GPT-6.1 Sol | 0.60 | 0.16 | 0.096 | 55% | $2.43 |
| Qwen 3.8 Max | 0.54 | 0.23 | 0.086 | 54% | $3.14 |
| Muse Spark 1.3 | 1.63 | 0.68 | 0.260 | 57% | $11.77 |
| Claude Haiku 4.5 | 0.25 | 0.03 | 0.040 | 84% | $17.55 |
Haiku 4.5 单次运行最便宜（$0.25），但按「每解出一道题」算是全场最贵（$17.55），是 Astra 的 8 倍——因为它 84% 的任务没解出来，钱照花。这与 Terminal-Bench 4.0 上「成本与分数只 loosely 相关」、Vals AI 观察到的「GLM 5.3 Flash 用 $0.65 拿到 19.70%，高于 Sonnet 5 的 $21.37 拿到 8.08%」是同一条规律，但 Argo-Bench 把它做成了可计算的量：\$ per solve。
步数上差异同样剧烈：Astra 平均 23 步拿到 51.8 分，Muse Spark 1.3 用了 250 步只拿到 20.7 分，Gemini 3.8 Flash 197 步拿 26.2 分。步数与分数在这张榜上是负相关的。
与同类基准的关系
Argo-Bench 直接点名的 predecessors 是 BIRD、Spider 2.0、BEAVER、DSBench、DABstep、τ-bench、CRMArena-Pro。它相对这一族做了三处改动：
- 把真值换成潜状态（Latent state）——不提供 Gold SQL、答案键或目标状态，只有模拟器里那个不可见的世界。这解决了「答案键被审计出大量错误」的问题：真值不是人写出来的，是模拟器算出来的。
- 把动作纳入评分——τ-bench 那一行也有「Actions graded ✓」，但只有 3 张表 2.8K 行；Argo-Bench 是 235 张表 7.49B 行上做同样的事。
- 把规模拉到企业级——行数比所有可比基准高 3–4 个数量级。
局限也很明确：论文自陈是 preprint / under review，只测了 14 个模型，且开源权重组最好成绩是 Kimi K3 的 28.4 分，只到闭源榜首的 47.8%——这条鸿沟比编码类基准上的开源/闭源差距大得多。
引用与复核提示
- 主结果表与分档表的数值均取自论文 HTML 全文（
arxiv.org/html/2610.02122v1）的表 2、表 3、表 4，未经过聚合站转述。 - 「Score」与「Solved」是两个指标，本卡 topResults 按 Score 降序排（与论文表 2 一致），排序不构成对 Solved 率的结论；两列错位的情况见关键发现第二节。
- 论文摘要写「7.5 billion rows」，表 1 写「7.49B」，两处并存，本卡统一用 74.9 亿行。