为什么重要
随着编码 Agent 生成越来越大的补丁（跨度数十到数百行），手动审查 Agent 结果变得不可行。开发者越来越依赖 Agent 自身提供的”解释”来理解��更。但问题来了：这些解释可信吗？
ExplainBench 首次系统性地回答了这个问题。它的核心洞察是：解释质量是编码 Agent 评测的一个独立维度——ExplainBench 的排名与 SWE-bench Verified 的排名不一致。这意味着，一个代码改得对的 Agent，不一定会给出可信的解释；反之亦然。
更令人担忧的发现是：Agent 经常声称补丁正确而实际上补丁是错的——这类”过度自信的解释”会直接误导开发者接受有缺陷的代码变更。
构建方式
1. 解释-问题对构造
基于编码 Agent 在 SWE-bench Verified 任务上生成的补丁，设计两类问题：
- 原代码行为问题（Type 1）：解释是否准确描述了 buggy 代码的预期行为？
- 补丁效果问题（Type 2）：解释是否准确描述了应用补丁后的效果？
2. 评估方法
- 让另一个 LLM 只阅读 Agent 生成的解释（不提供原始代码或补丁），然后回答上述两类问题
- 回答的正确率即为该解释的”质量分数”
- 这一设计基于直觉：一个信息丰富的解释应该让 LLM 即使不查原文也能正确回答问题
3. 解释审计 Agent
研究者进一步实现了一个解释审计 Agent，它运行额外测试来验证和精炼解释：
- 对解释中的每个断言，尝试构造反例或边界条件
- 发现的不一致之处自动精炼解释
- 所有被评估的 Agent 的解释质量都得到了改善
关键发现
- 解释质量与代码正确性是正交维度：ExplainBench 的模型排名与 SWE-bench Verified 排名不同，说明这两者测量的是不同能力
- Agent 经常声称补丁正确而实际错误：这是最危险的失败模式——开发者可能因为相信解释而接受有缺陷的代码
- 解释审计 Agent 有效：自动化的解释验证+精炼流程改善了所有被评估 Agent 的解释质量
- 解释可信度将成为 Agent 产品化的关键门槛：随着 Agent 越来越多地自主做出代码决策，解释的可审计性将从”锦上添花”变为”安全必需”
最新进展
- 2026-07-29：ExplainBench 以 arXiv 预印本发布（2607.26451），由 NUS 的 Zhiyuan Pan、Sungmin Kang、Imam Nur Bani Yusuf、Abhik Roychoudhury 联合发表
- 2026-07：论文首次揭示编码 Agent 解释可信度的系统性评估方法，为 Agent 安全审计提供了新工具