数据工坊·小语料去重器

数据工坊第三个产品原型：把书里第 7 章的去重流水线做成能自己动手调的台子——粘一份语料进去，精确去重、MinHash + LSH 模糊去重、模板剥离、去污染四道工序一次跑完，每个数字都是真算的

语料（空行分隔，或粘贴 JSON / JSONL）

如何理解 Transformer 中的注意力机制？
注意力机制的本质是一次可微的字典查询：把当前位置的表征作为 query，去和所有位置的 key 做匹配，得到归一化的权重后对 value 做加权求和。这样模型在编码任意位置时都能直接看到整个序列，不需要像 RNN 那样逐步传递状态。多头的设计让不同子空间可以关注不同类型的依赖关系，比如有的头盯句法，有的头盯指代。

如何理解 Transformer 里的注意力机制？
注意力机制的本质是一次可微的字典查询：把当前位置的表征当作 query，和所有位置的 key 做匹配，得到归一化的权重之后对 value 做加权求和。这样模型在编码任意位置时都能直接看到整个序列，不必像 RNN 那样逐步传递状态。多头的设计让不同子空间关注不同类型的依赖关系，比如有的头盯句法，有的头盯指代。

预训练数据为什么要做去重？
重复数据会让模型在相同内容上反复更新梯度，等价于给这部分样本加了隐式的采样权重。后果有三：一是浪费算力，二是让模型对高频模板过拟合，三是污染评测——如果测试集恰好来自训练语料里的重复片段，指标会虚高。工业级管线通常先做精确去重，再用 MinHash 做模糊去重。

预训练数据为什么要做去重？
重复数据会让模型在相同内容上反复更新梯度，等价于给这部分样本加了隐式的采样权重。后果有三：一是浪费算力，二是让模型对高频模板过拟合，三是污染评测——如果测试集恰好来自训练语料里的重复片段，指标会虚高。工业级管线通常先做精确去重，再用 MinHash 做模糊去重。
本站内容仅供参考，不构成任何投资建议，转载请注明出处并保留原始链接。

MinHash 与 LSH 是怎么配合的？
MinHash 把每个文档压成固定长度的签名向量，两个签名在相同位置上取值相等的比例，就是 Jaccard 相似度的无偏估计。LSH 再把签名切成若干 band，只要有一个 band 完全一致就判为候选对。band 越多越宽松、召回越高，但候选对数量也爆炸，这就是调参的核心矛盾。

本站内容仅供参考，不构成任何投资建议，转载请注明出处并保留原始链接。

LoRA 的低秩假设成立吗？
LoRA 假设微调时的权重更新量是低秩的，于是用两个小矩阵的乘积去近似它。实践上这个假设在多数任务里够用，但当任务与原模型能力差距很大、或者需要注入大量新知识时，低秩瓶颈会明显限制上限，此时提高 rank 或直接全参微调更稳。

LoRA 的低秩假设成立吗？
LoRA 假设微调时的权重更新量是低秩的，于是用两个小矩阵的乘积去近似它。实践上这个假设在多数任务里够用，但当任务与原模型能力差距很大，或者需要注入大量新知识时，低秩瓶颈会明显限制上限，此时提高 rank 或直接全参微调更稳定一些。

今天下午三点在腾讯大厦 B1 会议室评审数据管线的第二版方案，请相关同学提前准备好各自的指标口径和埋点文档，评审通过后当天同步给合作方。

今天下午三点在腾讯大厦 B1 会议室评审数据管线第二版方案，请各位提前准备好指标口径和埋点文档，评审通过之后当天同步合作方。

RAG 与长上下文是替代关系吗？
不是。长上下文解决的是「能不能塞进去」，RAG 解决的是「该塞哪一段」。当语料规模远超上下文窗口、或者需要可追溯的引用来源时，检索仍然不可替代。两者更常见的组合是用长上下文承接检索结果，而不是二选一。

What is the difference between batch and layer normalization?
Batch normalization normalizes across the batch dimension for each feature, which makes the estimate noisy when the batch is small and awkward at inference time because it needs running statistics. Layer normalization normalizes across the feature dimension for each sample, so it is independent of batch size and works identically in training and inference, which is why transformers adopted it.

某商店每件商品成本为 8 元，售价为 15 元。若一天卖出 120 件，请问这一天的总利润是多少元?

某商店每件商品成本为 8 元，售价为 15 元。若一天卖出 120 件，请问这一天的总利润是多少元?
这是一道基础的利润计算题，我们先算单件利润，再乘以销量即可得到总利润。

当前解析出 20 条

检测参数

归一化强度Shingle 单位

n-gram 阶数 n3

相似阈值0.75

签名长度 numPermLSH 分带 b × r（b·r = 128）

精确去重（哈希）模板段落检测真值兜底（关闭可看 LSH 真实召回）

短文档保护< 40 字

原始条数

去重率

50.0%

删 10 条

精确重复

哈希完全相同

模糊重复

MinHash + LSH

模板空壳

剥模板后为空

字符节省

52%

3073 → 1462

算法自检：这些数字说明 MinHash + LSH 到底准不准

估计误差（平均 |估计−真值|）

1.88%

理论标准误 ≈ 1/√128 = 8.8%

候选对精度

67%

6 个候选里 4 个真达标

LSH 漏检

0 对

已由全量对照补回

50% 拐点

0.383

低于此值的对基本捞不到

被判重复 · 10 条

#2精确重复规范化后与 #1 完全相同（指纹 1f480e87）

#3精确重复规范化后与 #1 完全相同（指纹 1f480e87）

#4模糊重复与 #1 真实 Jaccard 78.5%（MinHash 估计 74.2%）

#6模糊重复与 #5 真实 Jaccard 80.4%（MinHash 估计 79.7%）

#8模糊重复与 #7 真实 Jaccard 80.4%（MinHash 估计 78.9%）

#9模板空壳剥掉 1 类模板段落后只剩 0 字符，已无实质内容

#10精确重复规范化后与 #9 完全相同（指纹 1e5b80b3）

#11精确重复规范化后与 #9 完全相同（指纹 1e5b80b3）

#12模糊重复与 #13 真实 Jaccard 97.4%（MinHash 估计 98.4%）

#18精确重复规范化后与 #17 完全相同（指纹 0705696f）

检测到 1 类模板段落

文档级去重管不了这个：同一段法律声明挂在几十万篇文档尾巴上，得单独一道工序剥掉

出现 3 次 · 34 字符 · 文档 #6 #8 #9

本站内容仅供参考，不构成任何投资建议，转载请注明出处并保留原始链接。

⚠ 1 条因短于 40 字被排除在模糊去重之外（#9）——短文本 n-gram 太少，相似度估计极不稳定，宁可漏也不误杀