HARP(Human Annotated Reasoning Problems)是一个面向数学推理的高难度基准。随着 MATH 基准逐渐饱和,需要更具挑战性的评测。HARP 包含 4780 道短答题,来源于 1950 年至 2024 年的美国国家数学竞赛(包括 AMC、AIME 等),全部经过人工标注。
与 MATH 不同,HARP 的题目难度跨度更大(从入门竞赛到高难度国家赛),时间跨度覆盖 74 年,提供了更丰富的数学推理评测维度。评估多个前沿模型的结果表明,虽然模型在 HARP 上的表现优于已接近饱和的 MATH 基准,但仍远未达到人类竞赛选手的水平。开源于 GitHub。