训练数据去污染检测器
《AI 数据全书》· 第 29 章 · 数据质量评估闭环与迭代用基准指纹扫描文本，识别 MMLU / GSM8K / HumanEval 等测试集的污染痕迹
待检测文本
0 字符 | 覆盖 8 个 Benchmark
关于数据去污染
数据去污染 (Decontamination) 是预训练数据处理中的关键步骤。 如果训练数据中包含评测 Benchmark 的题目和答案，模型的评测分数就会虚高。
本工具使用模式匹配 + N-gram 指纹两种方法检测已知 Benchmark 的泄露。 覆盖 MMLU、GSM8K、HumanEval、HellaSwag、TruthfulQA、C-Eval、CMMLU、ARC 等主流评测集。
💡 实际生产中还需要使用 n-gram overlap、embedding 相似度等更精确的检测方法。本工具提供快速初筛。