为什么重要
ReactBench 是首个专门针对前端生产级代码质量的 AI Agent 评测基准。现有编码基准(SWE-bench、HumanEval、LiveCodeBench)主要关注”功能是否正确”,而 ReactBench 在此基础上增加了生产环境特有的质量维度:
- 400+ 静态分析规则:覆盖 buggy effects、无效渲染、无障碍访问(a11y)、长期可维护性
- 真实 PR 场景:所有任务来自真实开源 React 项目的合并 PR
- 双任务类型:Write React(从零实现功能)和 Fix React(修复已有组件但不引入新问题)
为什么现有基准不够
ReactBench 团队引用了三个行业案例说明前端 Bug 的真实成本:
- Cloudflare 2025-09 宕机:单个 flawed useEffect 依赖项导致 Dashboard 和 API 全局中断
- Google 性能研究:移动端页面速度提升 0.1 秒 → 零售转化率提升 8.4%
- 美国联邦无障碍诉讼:2025 年 Web 无障碍诉讼同比增加 27%
这些真实成本是传统”通过测试即得分”的基准无法反映的。
构建方式
- 从开源 React 项目收集 23,087 个候选 PR
- 自动筛选 + 人工审核 → 精选 51 个完成的任务
- 离线容器验证:Agent 提交后,独立容器运行隐藏功能测试 + React Doctor 分析
- 加权评分:任何阻断性标准(blocking criterion)失败直接归零
关键发现
- 所有模型 < 50%:前沿模型综合得分最高仅 43.1%,React 前端工程仍是对 AI 极具挑战的领域
- “代码整洁但功能错误”是主要失败模式:Write 任务中 65.3% 的失败是”代码通过 React Doctor 但未通过隐藏功能测试”
- “修复症状不修复根因”普遍:Fix 任务中 60.8% 的失败是”功能测试通过但 React Doctor 仍报错”
- 成本与质量不挂钩:Fable 5 XHigh 每次 trial 平均 $7.97,是 Sol ($1.37) 的 5.8 倍,但得分反而更低(41.2% vs 43.1%)
- Bug 密度差异巨大:Sol 和 Fable 5 每 100 trials 约引入 15 个新 Bug,Kimi K2.7 Code 则高达 67.4 个(3 倍多)
- 列表渲染和 Hook 规则是最容易出错的 React 特定模式
最新进展
- 2026-07-16:ReactBench v1 正式发布,8 个模型家族参与首轮评测
- 2026-07-16:BenchLM 收录 ReactBench 为”display only”基准(暂不纳入综合评分),按季度刷新
- 关键趋势:ReactBench 是目前唯一同时测量”功能正确性 + 代码质量 + 静态分析合规”的前端编码基准,其 < 50% 的 SOTA 意味着前端工程仍是 AI Agent 的显著短板