APIEval-20 由 AI 测试平台 KushoAI 发布,是首个专门评估 AI 智能体在黑盒环境下发现 API 逻辑漏洞能力的开放基准。在 AI 测试工具市场充斥夸大宣传的背景下,该基准提供了一个具体、可复现的衡量标准。
智能体仅被提供 API 的请求模式和样本负载(无源代码、无文档),必须像 QA 工程师一样在有限信息下识别逻辑漏洞。20 个场景覆盖支付、身份验证、电商和用户管理领域,漏洞按推理深度分级(简单=结构性突变、中等=字段语义理解、复杂=跨字段逻辑依赖)。评分强调精确度(Bug 检测 70%)并惩罚暴力测试。已在 HuggingFace 开源,包含实时参考实现和自动化评估脚本。