为什么重要
LLM 越来越多地被用于代码生成,但量子代码生成主要在单一框架内评估,难以区分模型的真实量子推理能力和对特定框架 API 的记忆程度。QuanBench+ 首次提供跨 Qiskit、PennyLane、Cirq 三大框架对齐的评测,被 ICLR 2026 Workshop 接收。
核心设计
基准包含 42 个对齐任务,覆盖量子算法、门分解和量态制备,在三大框架上并行评测。使用可执行功能测试评估,对概率性输出采用基于 KL 散度的接受准则。还研究了反馈修复机制——模型在遇到运行错误后可修订代码。
关键发现
模型表现高度依赖框架特定知识,Qiskit 表现最好(推测源于训练数据中相关内容更丰富),PennyLane 表现最弱。反馈修复机制能显著提升性能(约 20-24 个百分点),表明迭代调试能力对量子代码生成至关重要。