返回评测
代码生成 代码-前端 未饱和 模态 · 代码 任务 · 代码生成 Self-published

ReactBench v1

Million 团队出品,51 个真实 React PR 任务 + 400+ 静态分析规则,评测 AI Agent 在生产环境下的前端代码质量

Million ·

考察能力

React 开发 PR 修复 静态分析 无障碍访问 性能优化 生产级质量

构建信息

数据规模
51 tasks (26 Write + 25 Fix)
构建方式
从 23,087 个候选 PR 中经自动筛选 + 人工审核精选;隐藏功能测试 + React Doctor 400+ 规则离线验证
评测方式
隐藏功能测试 + React Doctor 离线代码质量检查(Pass@1 × 5 trials)
核心指标
Pass@1 Weighted Rubric Score

模型效果排行

🥇 GPT-5.6 Sol XHigh/Medium (OpenAI, 2026-07-09 发布)
43.1% 2026-07
🥈 Claude Fable 5 XHigh (Anthropic, restored 7/1)
41.2% 2026-07
🥉 Claude Opus 4.8 XHigh (Anthropic)
34.1% 2026-07
4. GLM 5.2 (Z.AI, MIT 开源)
32.9% 2026-07
5. Claude Sonnet 5 (Anthropic)
30.6% 2026-07
6. Kimi K2.7 Code (Moonshot AI)
20.4% 2026-07

为什么重要

ReactBench 是首个专门针对前端生产级代码质量的 AI Agent 评测基准。现有编码基准(SWE-bench、HumanEval、LiveCodeBench)主要关注”功能是否正确”,而 ReactBench 在此基础上增加了生产环境特有的质量维度:

  • 400+ 静态分析规则:覆盖 buggy effects、无效渲染、无障碍访问(a11y)、长期可维护性
  • 真实 PR 场景:所有任务来自真实开源 React 项目的合并 PR
  • 双任务类型:Write React(从零实现功能)和 Fix React(修复已有组件但不引入新问题)

为什么现有基准不够

ReactBench 团队引用了三个行业案例说明前端 Bug 的真实成本:

  1. Cloudflare 2025-09 宕机:单个 flawed useEffect 依赖项导致 Dashboard 和 API 全局中断
  2. Google 性能研究:移动端页面速度提升 0.1 秒 → 零售转化率提升 8.4%
  3. 美国联邦无障碍诉讼:2025 年 Web 无障碍诉讼同比增加 27%

这些真实成本是传统”通过测试即得分”的基准无法反映的。

构建方式

  1. 从开源 React 项目收集 23,087 个候选 PR
  2. 自动筛选 + 人工审核 → 精选 51 个完成的任务
  3. 离线容器验证:Agent 提交后,独立容器运行隐藏功能测试 + React Doctor 分析
  4. 加权评分:任何阻断性标准(blocking criterion)失败直接归零

关键发现

  • 所有模型 < 50%:前沿模型综合得分最高仅 43.1%,React 前端工程仍是对 AI 极具挑战的领域
  • “代码整洁但功能错误”是主要失败模式:Write 任务中 65.3% 的失败是”代码通过 React Doctor 但未通过隐藏功能测试”
  • “修复症状不修复根因”普遍:Fix 任务中 60.8% 的失败是”功能测试通过但 React Doctor 仍报错”
  • 成本与质量不挂钩:Fable 5 XHigh 每次 trial 平均 $7.97,是 Sol ($1.37) 的 5.8 倍,但得分反而更低(41.2% vs 43.1%)
  • Bug 密度差异巨大:Sol 和 Fable 5 每 100 trials 约引入 15 个新 Bug,Kimi K2.7 Code 则高达 67.4 个(3 倍多)
  • 列表渲染和 Hook 规则是最容易出错的 React 特定模式

最新进展

  • 2026-07-16:ReactBench v1 正式发布,8 个模型家族参与首轮评测
  • 2026-07-16:BenchLM 收录 ReactBench 为”display only”基准(暂不纳入综合评分),按季度刷新
  • 关键趋势:ReactBench 是目前唯一同时测量”功能正确性 + 代码质量 + 静态分析合规”的前端编码基准,其 < 50% 的 SOTA 意味着前端工程仍是 AI Agent 的显著短板
React 前端 代码质量 静态分析 生产环境 v1