返回评测
代码生成 代码-安全 未饱和 模态 · 代码 任务 · 分类

EXHIB

面向真实场景的大规模二进制函数相似性检测基准,覆盖固件、语义变化、混淆等场景,揭示现有模型高达 30% 的泛化缺口

俄亥俄州立大学 ·

考察能力

二进制函数相似性检测 固件分析 混淆识别 语义变化检测 漏洞分析

构建信息

数据规模
5 个真实环境数据集,覆盖多种二进制变化类型
构建方式
从真实固件和软件项目中收集,按低/中/高二进制变化区间划分
评测方式
多数据集多模型对比,按变化区间分解性能
核心指标
检索准确率 / AUC(按二进制变化区间分层报告)

模型效果排行

🥇 现有 SOTA
固件/语义数据集上性能下降高达 30% 2026-04

为什么重要

二进制函数相似性检测(BFSD)是软件安全领域的核心技术,支撑漏洞分析、恶意软件分类和补丁溯源等关键任务。然而现有数据集范围有限,通常只关注少量变换类型或特定二进制文件,无法反映真实应用的多样性。EXHIB 首次提供了覆盖固件、语义变化和混淆等多种真实场景的综合基准。

核心设计

EXHIB 包含 5 个从真实环境收集的数据集,每个突出 BFSD 问题空间的一个独特方面。关键创新在于按低/中/高二进制变化区间分解性能——这种分层分析能揭示模型在不同复杂度场景下的真实能力,而非被平均指标掩盖的泛化缺口。评估覆盖了 9 个代表性模型,涵盖多种 BFSD 技术范式。

关键发现

在固件和语义数据集上,现有模型表现出与标准设置相比高达 30% 的性能下降,揭示了显著的泛化差距。更关键的发现是:对低级和中级二进制变化的鲁棒性不能泛化到高级语义差异——这意味着在合成数据集上表现良好的模型,面对真实世界的复杂二进制变化时可能严重退化。

二进制分析 软件安全 漏洞检测 函数相似性 逆向工程 固件