为什么重要
随着 LLM 从对话模型演变为自主 Agent，传统的 turn-level 奖励模型已无法应对工具调用、多步规划等复杂场景。Plan-RewardBench 是首个系统性评估奖励模型在 Agent 轨迹级别表现的基准，被 ACL 2026 主会接收。
核心设计
覆盖四个代表性任务家族：安全拒绝（Safety Refusal）、工具无关性/不可用性（Tool-Irrelevance）、复杂规划（Complex Planning）、鲁棒错误恢复（Robust Error Recovery）。负样本通过三种方式构建：多模型自然推演、基于规则的扰动、以及最小编辑 LLM 扰动，确保干扰轨迹的多样性和难度梯度。
关键发现
三类评估器（生成式、判别式、LLM-as-Judge）均面临重大挑战，尤其在长视距轨迹上性能急剧下降。结论指向一个核心问题：当前奖励模型需要针对 Agent 轨迹级评估进行专门训练，而非简单复用对话场景的方案。