数据工程·Scaling 数据推演器
《AI 数据全书》· 第 1 章 · 为什么数据决定模型能力上限拖滑杆验证「为什么数据决定模型上限」——质量是杠杆，规模是乘数
质量感知缩放律
L(N, D, Q) = A/N^α + B/(D^β · Q^γ) + E（UChicago Subramanyam et al., ICLR 2026 · 实验显示 γ 通常接近 β）8.0B
2.0T tokens
0.60
0.1 垃圾堆0.4 粗清洗0.85 精选
算力预算 C ≈ 6ND96.00 ×10²¹ FLOPs
D / N（Chinchilla ≈ 20）250.0 · 过训练（数据偏多）
预测 Loss
2.035
MMLU 预估
55.5
固定 N / D，只改质量会怎样？
Q=0.40
52.3
Q=0.60
55.5
Q=0.85
58.2
Loss 随数据量的变化曲线（当前 N = 8.0B）
等算力三方案对照 （《AI 数据全书》§1.2.1 思想实验）
假设算力预算固定为训练一个 8B / 2T 的模型，三种花法：
A · 堆参数70B / 300B · 粗清洗网页
模型预测 46.2章节参考 45
MMLU 45
参数堆到 70B，数据只有 0.3T 且未精选——大模型的容量被垃圾数据浪费
B · 堆数据8.0B / 2.0T · 粗清洗网页
模型预测 52.3章节参考 52
MMLU 52
把参数降下来、数据量提上去，同样算力下已经反超方案 A 七分
C · 堆质量8.0B / 2.0T · FineWeb-Edu 级
模型预测 58.2章节参考 58
MMLU 58
同样的 8B/2T，只把数据换成精选级，再涨 6 分——质量是杠杆，规模是乘数
杠杆 vs 乘数：B 相对 A 提升 7 分（把预算从参数挪到数据），C 相对 B 再提升 6 分（同样数据换成精选级）。 质量提升 1 个量级的增益，大于参数提升 1 个量级——杠杆不变只放大乘数，乘数再大也只是放大噪音。
内容参考《AI 数据全书》第 1 章「为什么数据决定模型上限」· 阅读原章节 → · 系列首页：数据工程·全景驾驶舱 →
Loss→MMLU 映射为用章节三个实证锚点标定的经验拟合，用于趋势演示，非精确性能预测。
Loss→MMLU 映射为用章节三个实证锚点标定的经验拟合，用于趋势演示，非精确性能预测。