为什么重要
AGIEval 收集了中美高考、GRE、GMAT、LSAT 等 20 个标准化考试的真题,衡量模型在”通过人类选拔性考试”上的表现。
构建方式与示例
20 个考试数据集:中国高考(语/数/英/理综)、GRE、GMAT、LSAT、SAT、公务员考试。例如高考数学:“已知函数 f(x)=x³-3x,求 f 在 [-2,2] 上的最大值。“
关键发现
GPT-4 已能通过大部分考试,但中国高考理综和 LSAT 逻辑推理仍有差距。考试成绩不等于真实能力。
以 SAT/GRE/LSAT/高考等真实标准化考试评估模型的认知和推理能力
AGIEval 收集了中美高考、GRE、GMAT、LSAT 等 20 个标准化考试的真题,衡量模型在”通过人类选拔性考试”上的表现。
20 个考试数据集:中国高考(语/数/英/理综)、GRE、GMAT、LSAT、SAT、公务员考试。例如高考数学:“已知函数 f(x)=x³-3x,求 f 在 [-2,2] 上的最大值。“
GPT-4 已能通过大部分考试,但中国高考理综和 LSAT 逻辑推理仍有差距。考试成绩不等于真实能力。