为什么重要
深度研究 Agent(DRA)正在成为 AI 领域最前沿的应用方向之一——它们需要完成规划、检索、多模态理解和报告生成等复合任务。但现有评估面临两大难题:动态网络环境导致结果不可复现,任务定义模糊导致评估标准不一致。DR³-Eval 通过引入静态研究沙盒语料库,在保留真实网络复杂性的同时实现了完全可验证和可复现的评估。
核心设计
每个评测任务配备一个静态研究沙盒语料库,其中包含支持性文档、干扰项和噪声,模拟开放网络的复杂性。评估框架覆盖五个维度:信息召回(关键信息覆盖度)、事实准确性、引用覆盖率、指令遵循度和报告深度质量。所有维度均经过与人类判断的一致性验证。
关键发现
实验表明 DR³-Eval 极具挑战性,揭示了当前模型在检索鲁棒性和幻觉控制方面的关键失败模式。即使使用 SOTA 模型驱动的多 Agent 系统 DR³-Agent,在面对包含干扰项和噪声的语料库时,仍然频繁出现事实性错误和引用缺失。代码和数据已开源。