为什么重要
CyberSecEval 评测 LLM 生成安全代码的能力以及拒绝生成恶意代码的能力。涵盖 SQL 注入、XSS、缓冲区溢出等常见漏洞类型。
评测设计
两个维度：(1) 补全/生成场景中产生不安全代码的比例；(2) 面对恶意请求的拒绝率。使用 CWE 标准分类漏洞。
返回评测
代码生成 代码-安全 未饱和
模态 · 代码
任务 · 分类
CyberSecEval
Meta 推出的 LLM 代码安全评测基准
Meta ·
考察能力
安全代码生成 漏洞避免 安全合规
构建信息
- 数据规模
- 1,916 测试用例
- 评测方式
- 静态分析 + 执行评测
- 核心指标
- Insecure Code Rate / Refusal Rate
资源链接
模型效果排行
🥇 GPT-4o
3.2% insecure rate
🥈 Claude 3.5 Sonnet
2.8% insecure rate
代码安全 漏洞 安全合规 Red Team