为什么重要
React Native Evals 填补了 AI 编码评测在框架特定移动端开发领域的空白。通用编码 benchmark(如 SWE-bench、HumanEval)往往忽略了框架生态特有的挑战——动画时序、手势组合、异步状态竞态、导航栈管理等。这是首个让”哪个 AI 写 RN 代码最好”从主观争论走向可量化评估的 benchmark。
评测类别
当前 5 类(71 任务)
- Animation(动画):14 任务,涉及 Reanimated、手势处理、键盘控制
- Async State(异步状态):14 任务,TanStack Query、Zustand、Jotai、React 并发原语
- Lists(列表):19 任务,虚拟化列表性能与行为
- Navigation(导航):14 任务,Native Stack、Bottom Tabs、Drawer
- 更多类别即将推出:react-native-apis、expo-sdk、expo-router、nitro-modules
评估方法
两阶段流水线:
- 生成阶段:模型接收任务提示和脚手架,返回修改后的代码
- 评判阶段:独立 LLM 根据
requirements.yaml结构化需求评判
关键发现
- Cursor Composer 2 独占鳌头(96.2%),比第二名高 11.8 分,展示了 IDE 集成 Agent 在特定框架上的优势
- 开源小模型(32B 级)与闭源大模型差距悬殊(31.8% vs 96.2%)
- MIT 开源,社区可贡献新评测任务
关联基准
- SWE-bench:通用软件工程
- BigCodeBench:多库调用编码
- WebApp1K:Web 应用生成