唐
Tuntang
首页
书架
专栏
文章
研究
雷达
知识
评测
声浪
探索
首页
书架
专栏
文章
研究
雷达
知识
评测
声浪
探索
ESC
输入关键词开始搜索
↑↓
导航
↵
打开
Powered by Pagefind
微信
小红书
抖音
返回评测
推理
综合推理
未饱和
模态 · 文本
任务 · 混合题型
ProcessBench
评测 LLM 识别推理链中错误步骤的能力
ByteDance / Tsinghua
·
2024年10月1日
考察能力
过程监督
错误定位
推理链评估
构建信息
数据规模
3K+ 问题
评测方式
标准评测
核心指标
Accuracy
资源链接
论文: arXiv:2410.XXXXX
模型效果排行
🥇
o1
78.3%
🥈
GPT-4o
62.5%
为什么重要
ProcessBench 评测 LLM 识别数学推理链中首个错误步骤的能力。是训练和评估过程奖励模型(PRM)的重要基准,对 o1 式推理模型至关重要。
过程推理
错误定位
PRM
推理链
SWE-bench
MMAU