数据工坊第五个产品原型：把书里第 5 章的启发式规则变成能拖、能调、能跑的管线——每加一条规则，就看得见它砍掉了谁、误伤了谁
对齐第 5 章 §5.6 的八步标准流程：标准化 → 语言识别 → 行级 → 文档级 → PII。不含任何 C4 有害规则。
全角转半角、兼容字符统一，消除「看着一样其实是不同码点」 的脏数据。
剔除 \x00-\x08 等不可见控制符与零宽字符，避免它们污染分词。
连续空格压缩成一个，去掉行尾空白——影响后续平均行长度与字符占比的统计口径。
把 3 行以上空行压成 1 行，避免空行把「文档长度」和「行数」指标灌水。
用中文字符占比估算置信度，低于阈值整篇丢弃。这 是损耗最大的一步（CC 快照 85% → 8%）。
删掉字符数 低于阈值的行，清掉碎片与分隔残留。
阈值别设太高：诗歌、列表项、代码行都很短，§5.3 明确提醒「短行可能是诗歌或列表项」。
首页 / 关于 / 联系我们 / 登录 / 注册 / Home / About / Contact 等导航行，以及分隔符开头的行。
含 cookie、隐私政策、privacy policy、consent 的行，几乎全是站点通用噪声。
太短通常是碎片或抽取失败。
过长往往是数据库 dump 或拼接错误。
过短像列表/导航堆砌，过长像没换行的脏数据。
句号类标点占全文字符比，过低说明不是连贯文本。
过低可能是乱码或纯符号，过高可能是纯表格数据。
高重复通常意味着模板化内容（版权块、导航块、表格行）。
⚠ 顺序敏感：先跑行级过滤会删掉一批行，重复行比例的分母随之变小，模板页可能逃脱。建议文档级先于行级。
中文字符太少说明不是真正的中文内容（可能是中英混排的模板页）。
「点击这里下载 / 免费领取 / 加微信 / 扫码关注 / 阅读全文请」等，命中超过阈值整篇删。
至少要有 N 个长度 >20 的段落，否则视为残页。
出现最多的词占比超阈值且次数够多 → SEO 隐藏堆砌（§5.7 那条逃过所有过滤的脏数据就靠这个抓）。
§5.7 的 SEO 页面：正文是正常中文、长度/字符比/重复率全在正常范围，唯一破绽是末尾关键词堆砌。
手机号 / 邮箱 / 身份证 / 长数字串 → 占位符。只掩码不删除，保留文档价值。
建议排在行级过滤之后：掩码会引入 [ ] 之类的占位符号，若放在「高特殊字符比例」之前会人为抬高该指标。