为什么重要
现有硬件设计评测仅针对单个 HDL 模块的组件级任务（如从规格生成 Verilog），无法衡量 LLM Agent 在真实工程环境中定位和修复 Bug 的能力。HWE-Bench 是首个仓库级硬件缺陷修复基准，相当于硬件领域的 SWE-Bench，填补了从”能写代码”到”能修 Bug”的评估空白。
核心设计
HWE-Bench 从 6 个主要开源硬件项目中提取 417 个真实 Bug-fix PR，覆盖 Verilog/SystemVerilog 和 Chisel 两种硬件描述语言，项目类型涵盖 RISC-V 处理器核、片上系统（SoC）和安全信任根。每个任务实例部署在独立 Docker 容器中，通过项目原生的仿真和回归测试流程验证修复是否正确。评测了 7 个 LLM 模型与 4 个 Agent 框架的交叉组合。
关键发现
最佳 Agent 整体解决了 70.7% 的任务，但表现两极分化：小型处理器核项目超过 90%，复杂 SoC 级项目低于 65%。失败分析揭示三个核心瓶颈：故障定位、硬件语义推理和跨制品协调（RTL 代码、配置文件和验证组件之间的关系）。模型间差距远大于软件基准上常见的差距。