数据工程观察 · 2026年09月24日
本期五条：FineWeb-CLaR 给 309 亿文档补地区与文化索引；人类动作预训练推到 1200 亿 token；合成改写成本与质量审计；假新闻语料的三条泄漏通道；短到长课程的收益来自 batch 组成而非顺序。
本期的五条动态落在两个问题上：语料能不能被逐条审计，以及规模收益究竟来自哪一环。前者出现了给 309 亿文档补齐地区与文化索引的工作，后者则有三份材料各自拆开了「数据量变大」这件事内部的不同变量——人类动作 token、合成改写预算、长度课程里的 batch 组成。剩下两条是清洗类的：一份假新闻语料的泄漏通道清单，一份对短到长课程的因子分解。
一、FineWeb-CLaR：给 309 亿文档补上地区与文化两层索引
事件概述
FineWeb 与 FineWeb-2 是公开预训练语料里用得最多的一批，但它们只按检测到的语言组织。语言粒度过粗，同一种语言横跨多个地区、机构与社区规范，无法回答「某个基准考的文化现象，语料里到底有没有」。FineWeb-CLaR 给这个语料加了一层共享的「语言—地区—文化」坐标轴，已被 EMNLP 2026 主会接收。
技术细节
标注覆盖 FineWeb 与 FineWeb-2 全量释放的 30,914,158,759 篇文档。地区轴由 URL 派生 ISO 3166-1 alpha-2 标签，解析器给 25.61%（7,917,968,305 篇）赋到非空地区，其中查表命中 14.97%（4,627,776,301 篇）；查询串只用来抽取 gl、country、region、locale 这类显式参数，不落库，不产出个人数据。文化轴走的是主题建模路线：5,954 个 locale 各自用 BGE-M3 编码、FASTopic 以 K=200 起诱导主题，余弦 0.85 合并后每个 locale 平均留下约 135 个主题（中位 140），再投影到 Liu 等人 2025 年文化分类法的 14 个叶子上。基准侧按同一套标签标注了 277 条文化 NLP 基准，其中 212 条是新增的。
算力账也摊开了：LLM 裁定是大头，约 273 GPU 小时；文档嵌入两轮分别约 65 与 1.0 GPU 小时；主题诱导约 0.7 GPU 小时。产物拆成两个 Hugging Face 库，region 版是 locale 分区的 parquet，culture 版带逐文档主题与文化分类标注。
论文里最值得留意的是一张自我更正的表。作者承认投稿版把 100BT 快照（地区解析率 57.20%）与全量释放（25.61%）的统计混在了一起，修订版全部改用全量列。两个数字差一倍多，说明「解析率」这个指标对语料快照极度敏感。另外一组多样性统计显示：每个 locale 抽 1 万条 URL，注册基域数的中位数是 116，头部基域的文档占比中位数 0.35，34% 的 locale 有一半以上文档来自单个域名。
对大模型数据工作的影响
文化类评测的失败，过去分不清是语料缺证据、基准覆盖不够，还是模型靠了表面关联。有了这层索引，可以把「基准考的现象」和「语料里有的证据」放到同一坐标系里比对，直接算出哪些 locale 是双侧盲区。做配比和地域欠采样诊断时，这类元数据比语言标签好用得多。那张快照更正表则提醒一件事：引用语料侧统计前，先确认它是哪个快照算出来的。
相关链接
二、亮源新创 Light-O1：人类动作预训练从 37.5 亿推到 1200 亿 token
事件概述
量子位 9 月 23 日的报道梳理了机器人预训练的数据规模问题，主线是把 Figure、Dyna 与亮源新创三家的证据放在不同层级上看。亮源新创 9 月 21 日发布的技术博客给出了跨度最大的一组：人类动作预训练规模从 37.5 亿 token 扩到 1200 亿 token，最大规模约对应 10 万小时人类动作。
技术细节
Light-O1 的数据源不是为机器人专门采集的，而是互联网上的第三视角人类行为视频。流程是先把视频里的结构化人类动作恢复出来，编码成统一的人形动作表示，再和视觉、语言信息一起做自回归预训练，得到一个人类动作先验。评估分别在第一视角人类数据、公开机器人数据（含 Unitree G1）与亮源自研人形机器人数据上做目标域适配，动作预测误差、全身姿态误差、腕部位置误差随预训练规模持续下降，呈幂律趋势，作者称之为迁移缩放定律。
对照组更能说明层级差异。Figure 用同一批任务专属数据训两套策略，只有「是否经过 Index 预训练」这一个变量，30 个陌生家庭里的完整任务成功率从 9% 到 56%；它的四档嵌套 Index 数据跨 8 倍，动作预测损失随规模下降，用小规模实验拟合后外推，预测误差相当于整个 8 倍区间损失变化的 0.54%。Figure 的 Index 走自建供应链，到 8 月底收到超 1600 万条视频、累计向创作者支付 1500 万美元，新数据以约 35 分钟/秒的速度进入，之后还要过质量过滤、反作弊、去重、再平衡与文本标注。Dyna 则把 1000 小时、1 万小时、10 万小时、100 万小时四档严格嵌套的第一视角人类视频，用同一套后训练方案适配到 14 个真机任务，平均归一化得分依次是任务可达上限的 20%、28%、45%、53%。
Dyna 的消融点出了关键：只预测动作时，模型随数据增加出现严重而不稳定的过拟合；加入未来视频预测后 39 个任务的迁移整体改善；再补上不带动作标签、只用于视频预测的人类视频，跨本体表现才随规模稳定单调提升。
对大模型数据工作的影响
「把人类数据堆大就有收益」这句话需要拆成三问：预训练本身能不能随数据改善、这份改善离开人类数据域后还在不在、以及它最终有没有进到真机闭环。目前公开证据主要落在前两问，Figure 也没公开每档 Index 规模对应的闭环成功率。对数据团队的直接含义是，规模收益由「数据是什么」和「模型被要求从中学什么」共同决定，纯动作标签的那部分数据未必是规模化的主力。
相关链接
三、Ladders of Thought：把合成改写的成本与质量审计摆到台面上
事件概述
小模型做推理，知识蒸馏常常不够。Ladders-of-Thought（LoT）把「渐进式改写」和「自演化课程」拼在一起：自动把题目改写成语义等价但更简单的版本，按步数分难度桶，再用一个调度器动态分配训练批次。1B 到 8B 的多个模型族上，它稳定优于蒸馏。
技术细节
改写与教师模型都用 GPT-5-mini，全部离线生成一次。成本账算得很细：GSM8K 的 7,473 道训练题消耗 5,200,915 输入 token、14,550,446 输出 token，按 GPT-5-mini 批量 API 折算 15.20 美元；EntailmentBank 的 1,836 道题是 6.78 美元。改写质量做了 500 条抽样审计，由 GPT-5 按三条标准判：99.2% 的改写清晰可解且自包含，98.0% 确实比原题更容易，98.6% 解出的答案与原题一致。
调度器是个非平稳多臂老虎机：每个难度桶维护一个 Q 值，反映近期准确率改善；选桶用 Boltzmann 探索或 ε-greedy；定期在平衡验证集上评估，奖励是相对滑动基线的准确率增量，Q 值用时序差分更新、基线用指数滑动平均更新。效果上，算术类涨得最多（AddSub +32 个百分点、SVAMP +25 个百分点），多跳推理取决于数据集（QASC +16 个百分点、StrategyQA +25 个百分点），域内测试集 +2 到 8 个百分点，收敛比固定分阶段课程快。
对大模型数据工作的影响
这份工作最实用的地方不是精度，是它把合成数据的账单写得可以直接抄：每道题的 token 消耗、每条改写的质量审计口径。做合成数据管线时，「改写是否真的降低了难度」和「答案是否保持一致」是两件独立的事，得分开审计，只验答案一致会把「改简单了但改错题」的情况漏过去。难度桶配 bandit 调度也说明，固定几阶段的课程不如按学习进度动态分配。
相关链接
四、ISOT 假新闻语料审计：三条泄漏通道清掉后只掉 1.21 个 F1 点
事件概述
ISOT/Kaggle 的 Fake and Real News 语料被大量论文引用，准确率与 F1 常年报在 0.98 以上。这篇审计用一套透明的 TF-IDF 加线性分类器当测量工具，沿三条泄漏通道和两个分布漂移协议拆这个语料，代码、脚本与结果全部公开。
技术细节
第一条通道最致命：只给 subject 元数据字段、把正文整个丢掉，分类器就能做到 F1 = 1.000，原因是真假两类的 subject 完全不相交。第二条是 99.2% 的真实文章带有一个通讯社来源标记。第三条是 6,251 条重复文档，污染了朴素切分下测试集的 19.4%。
有意思的是后面：把这三条通道全部移除，F1 只从 0.9935 降到 0.9814，掉 1.21 个点；删掉权重最高的 1000 个 unigram，还剩 F1 = 0.926。也就是说，除去泄漏后的剩余信号是弥散的编辑风格，不是少数几个泄露词。风格信号本身不迁移：换成主题不相交的协议，平均精度从 0.9995 掉到 0.9475，部署 F1 从 0.9905 掉到 0.8067，先验匹配分析确认这是真实的 5.2 个点判别力损失，而时间维度的迁移几乎无损。微调的 DistilBERT 在域内更强（F1 = 0.9993），迁移时退化也更厉害。
对大模型数据工作的影响
这份审计给出了一张可以直接套用的泄漏通道清单：类别与元数据是否一一对应、来源标记是否只出现在某一类、测试集里有多少重复文档。它一并纠正了一种评估直觉——去重和去泄漏的价值不能只用「清掉之后模型掉了多少」衡量，假新闻这个例子里清洗只掉 1.21 个点，真正的问题是被掩盖住的泛化缺口，要到主题不相交协议下才暴露出来（部署 F1 掉了 18 个点以上）。
相关链接
五、短到长课程的收益来自 batch 组成，不来自呈现顺序
事件概述
短到长（SortaGrad 式）是语音模型里最简单的课程策略，但它的收益一直难解释。这篇论文指出，在语音 token 语言模型里，按长度训练会一次性改变四件事：shuffle 策略、batch 组成、token 保留量、以及 batch-mean loss 下的 token 权重。用匹配对照把这四者拆开后，短到长顺序本身没有独立收益。
技术细节
以 Mimi tokenizer、batch size 64、M = 256 的设置为例。分组让 batch 内长度变异系数从 0.3065 压到 0.0025，batch-max padding 从 23.1% 降到 0.4%，min-length 容量利用率从 12.6% 升到 55.8%；代价是 batch 间存储 token 数的变异系数从 0.038 升到 0.309，把 batch 构造和 loss 归一化直接绑在了一起。
困惑度上，epoch-wise shuffle 是 31.857 ± 0.075，Composition（只改 batch 组成）是 31.682 ± 0.083（Δ −0.175，p = 3.35×10⁻⁴），Reshuf 是 31.801，Persistent S→L 是 32.082（Δ +0.225）。把总效应分解开：Δcomp = −0.175，Δorder = +0.120（Holm 校正后 p = 6.70×10⁻⁴）——在同一批分组好的 batch 上再加短到长顺序，反而把部分收益吃掉了。固定 batch 成员只换顺序时，首轮短到长只带来 +0.029 的变化（p = 0.81），每轮都排是 +0.654，长到短是 +2.911。换成 token-balanced loss 后，首轮分组的那点收益也不见了。
对大模型数据工作的影响
变长序列上做课程学习，报告里得一并声明三件事：shuffle 策略、batch 怎么构造、loss 用哪种归一化。少声明任何一项，别人复现出来的数字都对不上。论文给的那套因子分解（组成效应与顺序效应相加）可以直接搬来做对照实验设计，判断一个课程策略的钱到底花在了数据排序上，还是花在了 padding 与 token 权重上。
相关链接