数据工程·合成数据质检门
《AI 数据全书》· 第 24 章 · 合成数据：生成-验证-进化体系
这一章最容易读成「合成数据要不要用」，但它真正讲的是三件可算的事：
质检是分层的，不是越严越好——L1 近乎零成本只抓格式，L4 能抓系统性偏差但抽 1–5% 就烧掉大半预算，Tab ① 把这条成本-召回梯度做成可拖的四道门；
三个维度不可能同时拉满——保真、多样、可审计两两冲突，Tab ② 让你亲手把滑杆推到「三个分数都不难看但溯源链只有 2/4」的位置，然后承认这条数据不可审计；
坍缩是数学必然，不是工程意外——Tab ③ 用代际递归把它跑出来并给出第 1 代的双视角，Tab ④ 用 C = B·log₂(1+S/N₀) 把边际递减、饱和点、递归坍缩、验证机制收成同一件事。
四个 Tab 里 trigram、MinHash、JS 散度、熵、长尾保留率、漏斗计数、香农容量全部在浏览器里真算；
四层单价、保真系数、代际准确率曲线、double descent 指数与香农默认值是教学设定，已逐一标灰。
本工具对原书做了一处事实更正（0.1% → 1%）并指出原书参考实现在中文下静默失效，详见 Tab ③。
🚪§24.6 的四层门不是「四道筛子越筛越好」，而是成本-召回梯度：L1 近乎零成本但只 抓格式，L4 能抓系统性偏差但抽 1–5% 就要花掉大半预算。 左边改生成端参数，右边四层实时重跑——淘汰数是真跑出来的（L1 是真的
JSON.parse 与围栏配对检查，L3 是真的 MinHash 近似去重），不是写死的百分比。最终入库
88 条
占原始 14.7%
累计淘汰
512 条
85.3%
漏检的系统性偏差
16 条
L1–L3 全部放过
总质检成本
¥1.31
⚠ 单价为教学参数
🎛️生成端参数
⚠ 构造语料温度 0.7 / 模板化 0.35
样本量 n600 条
采样温度0.70
低温 → 相邻句复用同一组谓宾，表层 n-gram 多样性塌下来
模板化程度0.35
越高越倾向复用同一具名骨架 → 产出可被 L3 的 MinHash 抓到的近似重复
事实错误注入率6%
只压 L2 的「准确性」子分，L1 完全看不见
长度离散度 σ0.55
对数正态采样；σ 越大越多条撞出长度窗口
语种混杂度18%
越高越多编码事故 → L1 的乱码与替换字符命中上升
📉四层漏斗
🧮 逐条真算L1 格式与完整性600 → 266−55.7%
44% 存活
自动 · 100% 覆盖 · 近乎零成本¥0.01
✓ 抓得到：截断、乱码、长度异常、JSON/Markdown 解析失败
✗ 抓不到 ：语义完全不通但格式完好的样本
L2 独立评分模型266 → 187−29.7%
31% 存活
自动 · 100% 覆盖 · 保留 top 60–80%¥0.96
✓ 抓得到：低连贯性、低信息量、事实错误、无教学价值
✗ 抓不到：评分模型自己没见过的错误类型；「生成-评分同源」时的自我偏好
L3 批次级多样性187 → 88−52.9%
15% 存活
自动 · 批次级 · trigram > 0.7¥0.03
✓ 抓得到：模板化输出、近似重复、批次多样性塌陷（Model Collapse 早期信号）
✗ 抓不到：逐条都合格但整体有系统性偏差
L4 人工抽检88 → 88−0.0%
15% 存活
人工 · 1–5% 采样 · 最贵¥0.32
✓ 抓得到：系统性但隐蔽的偏差（如所有法律文本都隐含大陆法系预设）
✗ 抓不到：不可扩展，只能抽样；漏检率随抽样率线性下降
📖 §24.6 淘汰区间⚠ 单价为教学参数缩微语料长度窗口 12–400 字，按 1:125 缩放自原书 [50, 50000] token
🎚️四层开关与阈值
L2 保留比例（top k%）70%
§24.6 原文区间 60–80%。注意 L2 是按分位数切的——淘汰率恒等于 1−k，跟数据好坏无关
L4 人工抽检率3.0%
§24.6 原文区间 1–5%。这是唯一能看见「系统性偏差」的一层，也是最贵的一层
L4 实际抽检条数3 条
其中命中系统性偏差0 条
L3 trigram 唯一率0.115
L3 开头 100 字唯一率73.3%
L3 近似重复淘汰99 条
🧮 trigram 阈值 0.7 是 §24.6 给的批次级红线。把「模板化程度」拉到 0.9 以上再看这一格—— 单条看都合格，批次一算就露馅，这正是 L3 存在的理由。
🔁⭐ L4 反馈回流环
⚠「回流会让 L1–L3 淘汰率一起下降」是错的。L2 按分位数切，淘汰率恒等于 1−k（下面表里它几乎不动）。回流真正改变的是两件事： 漏检的系统性偏差被定向隔离、以及被淘汰的换了一批人——代价是 L1 淘汰率上升，一批无偏差样本被主题词连坐误杀。
回流轮数3 轮
每轮：L4 抽检 → 发现的「隐形预设」泛化成一条字符串规则 → 回流 L1 规则层 → 整条漏斗重跑
| 轮 | 规则数 | L1 淘汰 | L2 淘汰 | L3 淘汰 | 入库 | 漏检 | 抽检/命中 | 连坐误杀 |
|---|---|---|---|---|---|---|---|---|
| 0 | 0 | 8.8% | 30.0% | 34.2% | 252 | 66 | 8/1 | 0 |
| 1 | 3 | 21.8% | 29.9% | 39.5% | 199 | 52 | 6/3 | 60 |
| 2 | 10 | 55.7% | 29.7% | 52.9% | 88 | 16 | 3/0 | 205 |
| 3 | 10 | 55.7% | 29.7% | 52.9% | 88 | 16 | 3/0 | 205 |
本轮学到的规则（主题词 → 隔离）
接口文档保险理赔应急预案财务报表设备巡检出行攻略社群运营教学设计招聘流程农产品分级
轮 0 新发现：所有代码注释默认 UTF-8 无 BOM 环境
轮 1 新发现：所有财务示例默认权责发生制（未覆盖收付实现制）；所有出行攻略默认自驾（未覆盖无车人群）；所有教学示例默认全日制在校生（未覆盖在职）
规则层拦截（格式完好但命中主题词）281 条
其中连坐误杀（本身无系统性偏差）205 条
剩余 漏检16 条
抽检率 3.0% 下每轮只抽到 3 条——3% 时最大的一类偏差很可能 从头到尾一次都没被抽到。这不是模型没学会，是样本量不够，把「没抽到」读成「已收敛」是这条链路上最常见的误判。
这个工具里哪些数字是真的
📖 文献值（原书 / 论文引文，非本工具实算）
- · §24.6 四层质量控制的淘汰区间：L1 5–10%、L2 保留 top 60–80%、L4 抽检 1–5%、批次级 trigram 红线 0.7
- · §24.6 三个核心维度（语义保真度 / 多样性 / 偏差可审计性）的定义与「存在张力」的结论
- · §24.9 坍缩量化观察表（g1 PPL +2–5% / 准确率 −0.5~1 … g9 PPL +100%+ / 准确率 −30）
- · §24.9 CollapseMonitor 四项检查的判据与阈值（0.5 / 0.7 / 20% / 0.6）
- · §24.9 六道防线时序表；Phi-3 单代生成 + 40% 真实锚定 + 40% 淘汰率等做法
- · §24.7 验证器强度谱系 6 档；§24.10 任务 × 最优合成比例表、质量>数量四方案、SynthLLM 3B≈4T / 8B≈1T
- · §24.10 香农缩放定律
C = B·log₂(1+S/N₀)与四条统一视角的原文表述 - · arXiv:2410.04840《Strong Model Collapse》（Dohmatob / Feng / Subramonian / Kempe，2024-10-07，ICLR 2025）的机构、结论与 double descent 的双向性
- · arXiv:2412.14689 Token-Level Editing（ICML 2025）的「只编辑关键 token、保留分布骨架」思路
🧮 浏览器内真算
- · L1：真的
JSON.parse、Markdown 围栏奇偶配对、长度窗口、替换字符检测——不读任何注入标记 - · L3：真的 MinHash（32 排列、字级 5-shingle）滑窗近似去重 + 逐条 trigram 唯一率与开头唯一率
- · 四层漏斗：每层的 in / out / 淘汰率 / 累计通过率都是逐条过滤后的真实计数
- · ⭐ L4 回流环：每一轮都重跑整条漏斗，漏检数、抽检命中数、规则连坐误杀数都是重跑出来的
- · 三维度：trigram 唯一率、话题分布归一化熵、长尾保留率、JS 散度全部实时计算
- · 代际坍缩：每代从上一代分布重采样后真算 trigram / 长尾 / 开头唯一率；CollapseMonitor 四项检查逐条判定
- · Token-Level Editing 对照：真实 4-gram 指纹集与合成 4-gram 集的交集补集真算
- · 香农预算器：S / N₀ / SNR / C 与 101 点曲线全部按公式真算；峰值是扫出来的
⚠ 教学模型 / 示意值 / 构造参数
- · 四层单价（0.02 / 3.6 / 0.15 / 120 元每千条）：原书只给了定性的成本-召回梯度，价格是本工具设定
- · L2 的四子分权重与 5 分制映射：
REF_INF = 0.72等标定常数是构造语料上的实测参考点 - · 保真三子分（事实性 / 语义等价 / 逻辑一致）的线性系数与锐化指数 ρ：原书未给可复现系数
- · 代际准确率损失与 PPL 抬升：
ACC_LT=30 / ACC_TG=8 / PPL_LT=110 / PPL_TG=25，按 §24.9 表格端点标定 - · double descent 的曲线指数（0.6 / −0.45）与下限（0.15）：论文只给定理与定性结论
- · 香农预算器的 α / ν_real / ν_syn / ε₀ / κ / B 默认值：原书只给公式与定性关系；ν_real 与 κ 是本工具补入的扩展项
- · 语料本身：全部是 1:125 缩微构造语料（长度窗口 12–400 字对应原书 [50, 50000] token），不是任何模型的真实输出
- · Zipf s=1.0 的真实参考分布、「后 5 个话题算长尾」：本工具设定，用于给长尾保留率一个可算的基准
⚠ 本工具不调用任何模型或后端服务，全部计算在浏览器内完成。🔴 一处对原书的事实更正：§24.9 写「仅需 0.1% 合成数据即可引发崩溃」，但 arXiv:2410.04840 原文是 "as little as 1%"，回源时在 HTML 全文中检索
0.1% 零命中——本工具一律按 1% 渲染。🔴 一处原书代码的静默失效：§24.9 参考实现按空格切词（text.split()），中文下四项检查会全部失效，本工具按字切。 §24.2 的 Stanford HAI 55% / 80%、Epoch 数据墙中位 2028、§24.10 的 EMNLP 2025 与 SynthLLM 数值、以及 arXiv:2605.23901 的机构归属， 本轮未逐个回源，采用原书转述值，已在对应位置标 注。