数据工程·评估归因仪表盘
《AI 数据全书》· 第 11 章 · 预训练评估与可归因分析评估不是跑个 benchmark 看数字，归因也不是「哪条数据分高就留哪条」。四个 Tab 各堵一个洞： 探针看不见的分布塌缩，消融会替你付利息； 只跑一个消融就下结论，等于把噪声当信号； Influence 和 TracIn 排名不一致不是 bug——一个被 H⁻¹ 预条件、一个没有； MMLU 单调上涨而视觉侧一路掉，是配方偏食而不是模型变强。 Zipf 拟合、n-gram 污染、消融秩反转、Influence 闭式解、TracIn 内积、MDA 筛选全部在浏览器里真算； 九方法散点坐标、LoRIF 外推曲线、飞轮视觉列、VLM 配比与 probe 是教学模型，已逐一标灰。
🚦六盏红绿灯 · §11.2.2 探针阈值
红灯 0 · 黄 灯 0六项全绿的理想语料：PPL 2.4、毒性 0.2%、主领域 34%、中位长 1,180 字符
平均 PPL2.4
异常 ≥ 52.4
正常 2–3 · 正常
毒性率0.2%
异常 ≥ 2%0.2%
正常 0–0.5% · 正常
领域分布34.0%
异常 ≥ 80%34.0%
正常 0–60% · 正常
长度中位数1180字符
异常 ≤ 200字符1180字符
正常 500–2000字符 · 正常
稀有 token6.5%
异常 ≥ 30%6.5%
正常 0–10% · 正常
评测污染率0.1%
异常 ≥ 5%0.1%
正常 0–0.5% · 正常
📖 §11.2.2 阈值表八维探针在本工具里做成六盏灯（语言分布/质量分布/去重检查三项不参与红绿灯判定）
📉Zipf 拟合台 · freq = c / rankˢ
🧮 真算真实指数 s（用于生成语料）1.20
按 p(r) ∝ r⁻ˢ 采样 20,000 个 token（词表 1,000），再对观测频次做 log-log 最小二乘
随机种子#42
换种子看抽样噪声，拟合值会小幅抖动
拟合指数 ŝ
1.180
真值 1.20 · 误差 1.7%
拟合优度 R²
0.998
338 个点参与拟合
✅ŝ = 1.180 —— 正常区间 1.0–1.5（§11.2.1）。 当前语料的 token 频率符合 Zipf 分布。
观测频次拟合 c/rˢ
双对数坐标☢️13-gram 污染检测台 · 真跑 n-gram 交集
🧮 真算语料语言
切分方式
n-gram 长度 nn = 13
书里用 13-gram（英文设定）。中文按字切时字符密度高得多，n 需下调
样本 token 数
122
按空格切
样本 n-gram 数
110
n=13
命中评测集
1 / 4
检出污染
MMLU
命中片段：primary function of the mitochondria in a euka…
11/14
n-gram 命中
GSM8K
无交集
0/17
n-gram 命中
HumanEval
无交集
0/11
n-gram 命中
MATH
无交集
0/22
n-gram 命中
⚠ 指纹为示意片段，非真实评测集四份指纹是本工具构造的 MMLU / GSM8K / HumanEval / MATH 风格片段，用于演示 n-gram 交集机制；真实去污染必须使用完整评测集。
📋数据卡片生成器 · §11.1 五问
🧮 真算What / Why / How / Evaluate / Use 五问 —— 探针值自动取自上方红绿灯
# 数据卡片：PretrainCorpus-v3 ## What —— 数据是什么 - 领域构成：网页 45% / 代码 20% / 书籍 15% / 论文 10% / 其他 10% - 规模：1.2B docs · 3.4T tokens - 许可：ODC-BY 1.0 ## Why —— 为什么收集 训练 1B–70B 规模通用基座模型 ## How —— 怎么收集的 - 采集方式：Common Crawl 2026-Q2 快照 + 开源代码仓库 - 预处理：Gopher 规则过滤 + MinHash 去重 + FineWeb-Edu ≥3 ## Evaluate —— 质量怎么评 - 评估方法：§11.2 八维探针 + §11.3 1B 消融 + §11.4 TDA 归因 - 探针关键值：平均 PPL 2.4 / 毒性率 0.2% / 评测污染率 0.1% ## Use —— 该怎么用 / 不该怎么用 - 当前探针值均在 §11.2.2 正常区间内 - 用途边界：本卡片随数据版本一起更新，配比或清洗策略变化后必须重跑探针（§11.6）
📖 §11.1 数据卡片模板Use 一栏会根据探针值自动追加 ⚠ 风险提示
这个工具里哪些数字是真的
📖 文献值（原书 / 论文引文，非本工具实算）
- · §11.2.2 六维探针的红/黄/绿阈值（困惑度、有害内容、领域占比、长度中位、稀有 token、污染率）
- · §11.3.3 1B / 100B 六组消融的 MMLU / GSM8K / HumanEval 三列实测值（Baseline 24.5 / 5.2 / 18.3 等）
- · §11.4.1 九种训练数据归因方法的族别与思路；方法散点的二维坐标是本工具按书中定性描述映射的，非实测
- · LoRIF（arXiv:2601.21929）：70B 上存储 20× ↓、查询 20× ↑、3 天 → 数小时
- · MDA（arXiv:2601.21996，ICML 2026 Oral）：塑造归纳头的是 XML 标签 / Base64 / LaTeX 等重复结构数据，而非「高质量散文」
- · Task-Agnostic TDA（arXiv:2608.13515，COLM 2026）与 Beyond Shapley（arXiv:2607.22766）：书中标「待验证」，本工具亦标灰
- · §11.6.3 五轮闭环迭代的 MMLU / GSM8K 与累计收益 +4.6 / +13.5
- · Cambrian-1：7M 配平的多模态数据 > 10M 未整编
- · §11.8 十二个工业级 benchmark 的清单与维度划分
🧮 浏览器内真算
- · Zipf 律 log-log 最小二乘拟合（尾部截断 freq ≥ 5，四个 s 值恢复误差均 < 5%）；语料由 mulberry32 种子真实采样
- · n-gram 污染检测：按语言切换指纹、按 space / char 两种切分真跑，逐条 n-gram 命中统计
- · Datasheet for Datasets 五问生成器：按你选的语料画像真实拼装字符串
- · 消融排序真算：六组数值的排序、极差、秩反转（MMLU ↔ GSM8K ↔ HumanEval）全部由代码算出，不是抄结论
- · Influence Function 是真的：2 参数线性回归，H = Σxᵢxᵢᵀ 解析求出并精确求逆，I = −∇L_testᵀ H⁻¹ ∇L_train；并与「给 t3 加权 ε 后重训」的精确闭式解逐一比对验证一阶近似的误差
- · TracIn：K 个检查点的梯度内积真算，含 Σ|TracIn| 随 K 的收敛曲线与和 Influence 的 Pearson r
- · MDA 筛选：八条数据在 quality / mech 两种阈值下的保留集合与「机制级关键数据占比」真算
- · 文本 − 视觉 delta 曲线、VLM 分能力 probe 差值、流水线骨架生成器
⚠ 教学模型 / 示意值 / 规则生成
- · Tab ③ 九方法散点的坐标不是实测，是按书中定性描述映射的示意位置，只用来说明「可扩展性 ↔ 准确性」的取舍结构
- · Influence 用的是 2 参数 toy 模型：Hessian 能解析求逆是 toy 的性质，真实 LLM 上 H 不可精确求逆，必须做 EK-FAC / LoRIF 一类近似
- · LoRIF 存储曲线：c 由「70B 上 20×」这一个文献值反解，其余 D 的压缩比是按 O(c√D) 外推的示意值
- · §11.6.3 飞轮里的视觉基准列是本工具教学模型（原文未给），用来演示「MMLU 单调涨而视觉侧持续掉」的取舍
- · VLM 四组配比、五维 probe、纯文本回放天花板 44.0 与线性回补均为教学模型，非任何实测拟合；replay 只补文本、不补视觉
- · 语料指 纹（EVAL_FINGERPRINTS）是构造的评测集片段，非真实 benchmark 原题
⚠ 本工具不调用任何模型或后端服务。§11.4 的归因数值只在一个可解的 toy 上真算——这是刻意的： 真实规模上的「真算」正是 EK-FAC / LoRIF / MDA 这些近似方法存在的理由。 另注：提案原文写「+More code 在 MMLU 上只排第 3」，按 §11.3.3 表格实算应为第 2（+Edu≥4 为 26.1，+More code 为 25.2，−Gopher 22.1 起）。 结论方向不受影响：秩差只有 1 位，而 HumanEval 上的价值差是 2.9×（22.1 − 18.3 = 3.8 vs 19.5 − 18.3 = 1.2）。