返回评测
代码生成 代码-领域特化 未饱和 模态 · 代码 任务 · 代码生成 ICLR 2026 Workshop

QuanBench+

跨 Qiskit、PennyLane、Cirq 三大框架的量子代码生成评测基准,区分量子推理能力与框架熟悉度

KAUST ·

考察能力

量子算法实现 门分解 量态制备 跨框架泛化

构建信息

数据规模
42 个对齐任务 × 3 框架
构建方式
人工设计 + 跨框架对齐
评测方式
可执行功能测试 + KL 散度接受准则
核心指标
Pass@1 (%)

模型效果排行

🥇 最佳模型(Qiskit)
59.5% Pass@1 → 83.3%(反馈修复后) 2026-04
🥈 最佳模型(Cirq)
54.8% Pass@1 → 76.2%(反馈修复后) 2026-04
🥉 最佳模型(PennyLane)
42.9% Pass@1 → 66.7%(反馈修复后) 2026-04

为什么重要

LLM 越来越多地被用于代码生成,但量子代码生成主要在单一框架内评估,难以区分模型的真实量子推理能力和对特定框架 API 的记忆程度。QuanBench+ 首次提供跨 Qiskit、PennyLane、Cirq 三大框架对齐的评测,被 ICLR 2026 Workshop 接收。

核心设计

基准包含 42 个对齐任务,覆盖量子算法、门分解和量态制备,在三大框架上并行评测。使用可执行功能测试评估,对概率性输出采用基于 KL 散度的接受准则。还研究了反馈修复机制——模型在遇到运行错误后可修订代码。

关键发现

模型表现高度依赖框架特定知识,Qiskit 表现最好(推测源于训练数据中相关内容更丰富),PennyLane 表现最弱。反馈修复机制能显著提升性能(约 20-24 个百分点),表明迭代调试能力对量子代码生成至关重要。

量子计算 代码生成 Qiskit PennyLane Cirq 跨框架