数据工程·去重策略竞技场

《AI 数据全书》· 第 7 章 · 安全过滤、去重与隐私合规

C4 用 70% 的数据量反获 MMLU 24.3 → 28.1——去重是免费的午餐，但「怎么去重」是一道分粒度的权衡题

📉 §7.3.3 为什么非要去重：用 70% 的数据量，换更好的效果
C4 原版
1T tokens
MMLU 24.3
TriviaQA 32.5
C4 去重后
0.7T tokens
MMLU 28.1
TriviaQA 38.7

Lee et al.（2022）在 C4 上训练 1.5B 模型：去重让训练 token 少了 30%，MMLU 反而 +3.8、TriviaQA +6.2。 重复的边际价值是负的。 §7.3.2 补充：Common Crawl 一个快照中约 20–30% 文档是完全相同副本，另有 10–20% 高度近似。

⚔️ 六算法同台：点选策略查看判定（可多选并排对比）24 篇样本 · 8 篇真值重复 · 全部在浏览器内实时计算
🕸️ 判定关系图（当前焦点：MinHash + LSH）灰虚线 = 真值重复对；绿=命中 · 红=误杀 · 琥珀虚线=漏检
布局依据
切换布局可看到：语义改写对（8↔9、10↔11）在 Jaccard 图上离得很远，在语义图上却贴在一起 —— 这就是 n-gram 方法的盲区
123456789101112131415161718192021222324命中（真重复·已删）误杀（非重复·被删）漏检（真重复·幸存）
#1原文
美国弗吉尼亚州北部的数据中心集群在 2026 年夏季用电负荷创下历史…
✗ 误杀
#2副本 · 换 URL
美国弗吉尼亚州北部的数据中心集群在 2026 年夏季用电负荷创下历史…
✓ 命中并删除
#3副本 · 镜像站
美国弗吉尼亚州北部的数据中心集群在 2026 年夏季用电负荷创下历史…
! 漏检
#4原文
Transformer 的注意力机制复杂度随序列长度呈平方增长，这是…
✗ 误杀
#5近似 · 加了时间戳
Transformer 的注意力机制复杂度随序列长度呈平方增长，这是…
! 漏检
#6原文
预训练数据配比决定了模型的能力上限。实践表明，在语料总量固定的前提下…
· 保留
#7近似 · 同义改写
模型能力的天花板由预训练数据配比决定。实验显示，当语料总量固定时，掺…
! 漏检
#8原文 · §7.8.1 用例
如何重置密码？如果你忘记了登录密码，可以在登录页点击忘记密码，通过注…
· 保留
#9语义改写 · 字符串空间不接近
忘记密码怎么办？在登录界面选择找回密码选项，系统会向你绑定的邮箱发送…
! 漏检
#10原文 · §7.8.1 用例
解决内存泄漏的方法：先用内存分析工具抓取堆快照，对比两次快照之间的对…
· 保留
#11语义改写 · 术语全换
修复 out-of-memory 错误的思路：借助性能分析器采集堆转…
! 漏检
#12原文 · 与 13 共享免责声明
本站所有内容仅供参考，不构成任何投资建议。用户依据本站信息做出的决策…
· 保留
#13仅共享段落 · 句级重复
本站所有内容仅供参考，不构成任何投资建议。用户依据本站信息做出的决策…
! 漏检
#14模板原文
招聘信息：某互联网公司招聘数据工程师，工作地点深圳，薪资范围每月四万…
· 保留
#15模板填充 · 同模板不同数据
招聘信息：某智能硬件公司招聘数据工程师，工作地点北京，薪资范围每月三…
! 漏检
#16唯一 · 配比
数据配比的第一性原理是先确定目标能力，再反推语料构成。把配比当成超参…
· 保留
#17唯一 · 配比（易误杀）
配比调整不应只看验证集。某团队把代码语料从百分之八提到百分之二十，代…
· 保留
#18唯一 · 内存
文档级去重的工程瓶颈在内存：十亿条一百二十八维签名按四字节存储约需五…
· 保留
#19唯一 · 内存（易误杀）
签名存储可以退一步：用十六位无符号整数替代三十二位，内存直接减半，精…
· 保留
#20唯一 · 蒸馏
蒸馏能把教师模型的分布知识压缩进小模型，但它并不会凭空创造教师没有的…
· 保留
#21唯一 · 蒸馏（易误杀）
模型蒸馏的收益边界取决于教师与学生之间的容量差。容量差越小，蒸馏越接…
· 保留
#22唯一 · RL
强化学习里的奖励投机不是异常，而是必然：只要代理能找到提高回报的捷径…
· 保留
#23唯一 · 长上下文
长上下文评测里最容易被忽略的是位置偏差：模型对中段信息的召回明显弱于…
· 保留
#24唯一 · 推理算力
推理阶段的算力分配正在取代参数规模成为新的竞争焦点。同样的模型，把测…
· 保留
🧩 工业组合：六算法全开的并集效果先 MinHash 粗筛 → 再语义精筛（§7.8.3 推荐组合）
去重率
45.8%
误杀率
27.3%
漏检率
0.0%
删除文档
11 / 24

组合拳把漏检压到 0%——精确去重抓完全一致、MinHash/SimHash 抓近似转载、 Suffix Array 抓句级共享段落（#13 只有它抓得到）、SemDeDup 抓语义改写（#9 / #11 只有它抓得到）。 但误杀没有被消除，而是被继承了下来： 误杀全部来自语义去重的 τ 阈值，把 τ 调低只会让误杀更多。§7.14 的忠告是「分粒度按需调节」，而不是一味提高去重率。

🔍 关于本页算法的诚实说明

URL 归一 / 精确摘要 / MinHash+LSH / SimHash / 最长公共子串 五种算法在浏览器内真实计算，参数改动会实时改变判定结果。 其中「SHA-256」为同步实现的确定性 128-bit 十六进制摘要（demoDigest），不是密码学 SHA-256，仅用于复现精确去重的判定行为。 SemDeDup 需要 embedding 模型推理，本工具不调用任何模型，改用人工标注的语义相似度矩阵（含 4 组「语义相近但不是重复」的误杀陷阱）， 其上的贪心聚类算法是真实的。相对耗时倍数为按方法原理推算的示意值。

内容参考《AI 数据全书》第 7 章「安全过滤、去重与隐私合规」· 阅读原章节 → · 系列首页：数据工程·全景驾驶舱 →
URL 归一 / 精确摘要 / MinHash+LSH / SimHash / 最长公共子串 五种算法在浏览器内真实计算，改动参数即时重算； SemDeDup 的语义相似度矩阵为人工标注（不调用任何 embedding 模型），热力图检出率与相对耗时倍数为按方法原理推算的示意值。 章节中标注「待验证」的内容（SemHash-LLM，arXiv:2607.01601）未纳入本工具。