返回评测
Agent Agent-评测基建 未饱和 模态 · 文本 任务 · 混合题型 arXiv preprint (cs.AI)

DAREBench 1.0

把 22 个基准的 233 个任务搬进同一套 OpenClaw 执行环境，组成 2×3 工作量矩阵评 35 个模型；审计机制剔除了 143 个无执行证据支撑的正分

未标注机构（arXiv:2609.06059）；技术栈基于 OpenClaw 开源生态 ·

考察能力

多步执行 工具调用 多模态感知 产物交付 成本效率

构建信息

数据规模
233 tasks（源自 22 个既有基准），6 个 workload group
构建方式
三阶段筛选（可行性→难度→代表性）：无法定义产物契约或可靠评分器的剔除；Qwen3.5-27B 三次全对的简单题剔除；按源基准类别结构人工挑选保覆盖
评测方式
统一 OpenClaw 运行时 + 任务契约（初始工作区/工具/目标产物/评分器/时间预算）；自动检查 / LLM-as-a-Judge / hybrid 三类打分，外加基于执行轨迹与最终产物的证据审计
核心指标
审计后准确率 Acc (%) + Tokens/task + 参考成本 $/task

资源链接

论文: arXiv:2609.06059

模型效果排行

🥇 Claude Opus 4.8 (API；文本 76.3% / 多模态 71.1%；$0.250 / $0.123 每任务)
均 73.7% 2026-09
🥈 GPT-5.5 (API；文本 76.8% / 多模态 67.7%；$0.155 / $0.179)
均 72.3% 2026-09
🥉 Gemini 3.1 Pro (API；文本 74.3% / 多模态 67.9%；$0.164 / $0.114)
均 71.1% 2026-09
4. Claude Opus 4.6 (API；文本 75.9% / 多模态 65.9%；$0.419 / $0.293)
均 70.9% 2026-09
5. GPT-5.4 (API；文本 75.8% / 多模态 63.5%；$0.121 / $0.097)
均 69.7% 2026-09
6. MiMo-V2.5 (小米, API；文本 75.5% / 多模态 62.1%；$0.006 / $0.005)
均 68.8% 2026-09
7. Qwen3.6-Plus (阿里, API；文本 72.1% / 多模态 58.2%；$0.160 / $0.150)
均 65.2% 2026-09
8. Doubao-Seed2.0-Pro (字节, API；文本 70.8% / 多模态 58.7%；$0.051 / $0.057)
均 64.8% 2026-09

为什么重要

Agent 评测最大的污染源不是题目，而是脚手架。同一个模型换一套 Agent loop、换一套工具接口、换一套工作区抽象，分数能差出几十个百分点——这让跨基准、跨论文的数字几乎无法互相印证。

DAREBench 的切入点就在这里：它不造新题，而是把 22 个已有基准里的 233 个任务搬进同一个 OpenClaw 执行环境，让所有模型跑同一套 agent loop、同一套工具接口、同一套工作区抽象和日志协议。架构差异被按住之后，剩下的才是模型差异。

第二个贡献更值得单独说：证据审计。7,587 次模型–任务运行里有 3,340 次是 judge 或 hybrid 打分。作者对这批打分做后验审查——用确定性规则先召回可疑正分，再上 meta-judge 复核——最终剔除了 143 个没有执行轨迹或最终产物支撑的正分。这个数字本身就是对”LLM-as-a-Judge 直接出榜”这种做法的一次量化警告：约 4.3% 的正分是凭空的。

2×3 工作量矩阵

任务按两个维度切分，形成 6 个组：

  • 输入模态：text（纯文本）/ multimodal（多模态）
  • 执行形态：single-step（单步）/ multi-step（多步）/ multi-step+tools（多步带工具）

这个设计的价值在于它把”一个总分”拆成了可诊断的分面。结果是清楚的：没有一个模型能在全部 6 个组上同时领先。

关键发现

1. 单步到多步是一道断崖。 所有模型在 single-step 上都接近天花板，而在 multi-step+tools 上集体塌陷。Claude Opus 4.8 在文本单步是 98.8%，多步 78.1%，多步带工具只剩 65.3%；Gemini 3.1 Pro 从 96.4% → 80.7% → 56.1%。单步分数几乎不携带区分度信息，一个只报单步准确率的 Agent 榜等于没报。

2. 多模态不是”文本 + 一点感知”，而是另一条成本–准确率前沿。 论文的措辞是”distinct accuracy–cost trade-offs”：Gemini 3.1 Pro 在多模态多步上能到 88.5%，反超自己的文本多步（80.7%），而代价是多模态带工具组只有 32.7%。同一模型在两个模态上的强弱顺序并不一致，所以按单一聚合分排序是错的。

3. 成本差了两个数量级，准确率只差几个点。 MiMo-V2.5 文本组平均 75.5%，仅比 Claude Opus 4.8（76.3%）低 0.8pp，但每任务成本 $0.006 对 $0.250——约 40 倍。对比 Claude Opus 4.6 的 $0.419/任务（文本），同样是 ~76% 的准确率，与 MiMo-V2.5 差 70 倍。如果部署决策只看榜单排名，会把这 70 倍完全忽略掉。

4. Token 消耗的分布比平均分更有信息量。 Opus 4.6 在文本多步带工具组烧掉 605k tokens/任务（平均 270k），而 Gemini 3.5-Flash 在同样组别烧到 773k（平均 456k），准确率却只有 51.7%。贵不等于省，也不等于准——这两者必须在同一张表里读。

5. 本地开源权重模型在若干组上有竞争力，但整体仍落后。 12 个本地部署模型（vLLM + 单张 RTX PRO 6000 96GB，FP16 / 32K 上下文统一配置）里最强的是 Qwen3.6-27B（文本 61.8% / 多模态 55.1%），与 API 头名差约 12–16pp。Qwen3-Coder-30B-A3B 在文本组达 52.1%，是 30B 级别里最亮的一个。要强调的是：这是端到端部署画像的对比，不是上下文对齐后的内在能力对比——本地模型统一被压到 32K 上下文且未量化、未多卡。

6. 本地部署暴露了聚合榜看不见的失败模式。 论文专门提到 DAREBench “exposes deployment-specific failures that aggregate leaderboards often obscure”，例如小模型在特定工具链上的系统性崩溃（Qwen2.5-VL-7B 多模态带工具组只有 4.0%）。这类失败在只看总分的榜上会被平均掉。

与同类基准的关系

DAREBench 属于 2026 年”OpenClaw 生态基准”这一波：Claw-Eval 强调基于轨迹的可信评测，ClawBench 面向实时网页交互，ClawArena 研究冲突推理，WildClawBench 与 ZClawBench 引入真实环境工具使用，ClawsBench 同时评能力与安全。DAREBench 的差异化不在题目，而在统一运行时 + 工作量矩阵 + 证据审计这三件事。

局限性

  • 任务来自 22 个既有基准的改编，原创性有限；233 题分摊到 6 个组后每组样本量偏小，细分组别（如多模态多步）的统计噪声不小。
  • 本地模型统一压到 32K 上下文、单卡 FP16，与 API 模型的对比是”部署画像”而非”能力对等”对比。
  • 成本按 OpenRouter 公开定价估算，是参考值不是实际账单。
  • 论文未标注作者机构。

关联基准

Agent 部署感知 统一运行时 证据审计 成本效率 OpenClaw