数据工程观察 · 2026年10月01日

本期五条围着同一个问题转：一批数据的价值，能不能在训练开始之前就算清楚。PleIAs 从 58,698 篇维基百科条目出发，把预训练、中训练、后训练压成一次训练；密苏里大学团队给 28 个语言-任务对画出标注预算曲线，标出「再加标注还有没有用」的拐点；马里兰与慕尼黑的联合团队测了 LLM 标注在换一套同样合理的任务设计后漂移多少；清华团队用参考预报器的损失给时序预训练窗口逐个打分；MIT 与宾大团队把 Adam、Muon 等七种优化器的最优数据指数重新钉回 1/3。

一、Synth：58,698 篇维基条目撑起的全合成单阶段语料

事件概述。PleIAs 联合索邦、KU Leuven、EPFL 等机构发布 Synth，作者称其为第一个开源的全合成预训练语料。语料从 58,698 篇维基百科文章反向翻译生成，用结构化放大的办法把预训练、中训练、后训练三个阶段合并成一次训练。配套开源四款模型：Monad（56M）、Baguettotron-350M、Baguettotron-600M，以及 13.2B 总量 / 1.05B 激活的 MoE 版本，HF 仓库名为 pleias/synth 与 pleias/baguettotron。

技术细节。生成一条样本的流程是「先锁定真实段落，再按约束反推查询，再生成带推理痕迹的答案」，记忆目标始终锚定在真实维基段落上。语料约 20% 为非英语，推理痕迹即使是小语种查询也保持英语。六条辅助流水线分别是：RAG 重放（最多十条检索段落、目标里带 <source> 引用，训练闭卷与开卷切换）、算术（约 3,000 个 Kimina 模板随机化变量值后重新求解）、创意写作（约束规格如避字游戏、排版诗独立采样）、编辑（翻译、结构化抽取、正字与事实纠错、风格改写）、MCQ、实用知识（把主生成器跑在 3,727 份 Wikibooks 烹饪食谱上）。第一阶段用 Gemini 2.5 Pro 产出各辅助任务的训练集，合计 81,264 次调用、1.332 亿输出 token。算力账：全部 H100 作业 16,044 GPU 小时，其中生成 10,804、训练 4,936、微调 195、评测 71、嵌入 39；产出最终语料占 6,144.6 小时，其余是探索性开发。按 20% MFU 对 H100 SXM BF16 峰值折算，最终语料生产约 4.4×10^21 FLOPs，比 Llama 3 8B 报告的 7.2×10^23 低 164 倍。

对照实验做得很干净。600M 的两个对照组保持架构、分词器、优化器步数一致，只换预训练数据：FineWiki（英文维基，约 90 亿 token，约 17 轮）与 FinePDFs-Edu（约 1,300 亿 token，约 1.2 轮）。这两组不做后训练连选择题都答不出，补上 SmolTalk（99,679 条对话）加 MMLU 辅助训练 split（39,852 题，与测试集不相交）之后才成形，Synth 版无需这一步。成绩：选择题 42.2 对 26.1（FineWiki）与 25.1（FinePDFs-Edu），开放式 24.3 对 10.2 与 13.5。用 fineweb-edu-classifier 在 0–5 量尺上打分（每语料 100 篇英文文档，覆盖前 2,048 token），Synth 2.23 [2.10, 2.35]，Nemotron-CC 1.72，FineWiki 1.64，Common Corpus 1.49，FinePDFs 1.34，FineWeb 1.21，Propella-1 的独立排序与之吻合。推理痕迹消融显示收益分布不均：去掉痕迹后选择题 41.8 对 42.2 几乎不动，开放式从 24.3 掉到 22.0，损失集中在 TruthfulQA（−9.1）与 NuclearQA（−10.0），事实召回平均只掉 0.5，ConflictQA 反而 +3.9。

对大模型数据工作的影响。值得抄的是那本账，不是「合成替代爬取」这个结论。81,264 次前沿模型调用对应 1.332 亿输出 token、16,044 GPU 小时里只有 38% 用于最终语料——做合成数据方案时，开发开销与前沿模型调用量要单独列预算。论文自陈的弱项是 ARC-Challenge、GeoBench 这类依赖广谱网页知识的基准，种子源只有维基百科撑不起来，说明合成放大保住了推理密度，代掉了知识覆盖。

相关链接：https://arxiv.org/abs/2609.37891 、 https://arxiv.org/html/2609.37891v1

二、28 个语言-任务对的标注预算曲线

事件概述。密苏里大学与合作者给出了一个罕见的实证答案：一种语言到底要多少标注。覆盖 MasakhaNEWS 的 16 种语言新闻主题分类与 AfriSenti 的 12 种语言推特情感分类，共 28 个语言-任务对，模型是字符 n-gram 线性分类器，两颗 CPU 核、7 GB 内存，不用预训练权重、不用加速器。

技术细节。预算从 25 条拉到数千条。主题分类在中位语言上约 400 条标注就达到全量 macro-F1 的 90%；情感分类在 12 种语言里有 11 种到全量规模仍在上升，需要数千条。跨语言池化（把基准里其他语言的全部训练数据并进来）的收益窗口很窄：目标标注只有 25 条时，新闻平均加 0.20 macro-F1，林加拉语最高 0.43，情感加 0.08；增益到 800 条衰减为零；到全量规模，新闻 16 种里有 9 种、情感 12 种里有 8 种反而变差。25 条目标标注加池化数据，对多数新闻语言等价于 100 到 400 条单语标注。完整零样本迁移矩阵显示，一条目标标注都没有时，只补回多数类基线与单语模型之间差距的中位 13%（新闻）与 4%（情感），例外由共享文字（阿姆哈拉语、提格里尼亚语）、共享词汇（英语与尼日利亚皮钦语、阿拉伯语各方言）或共享标签先验解释，语系不解释。成本侧：单语模型每语言训练 0.1 到 6 秒，池化模型 18 到 53 秒，复现全文 28 种语言 × 7 档预算 × 2 种设置 × 3 个种子加两张迁移矩阵约两个半小时。

对大模型数据工作的影响。论文直接给出了可执行的预算口径：新闻类主题任务按每语言 400 到 800 条规划，起步阶段并上同标签体系的其他非洲语言新闻语料，过几百条就撤掉；社交媒体情感别指望字符 n-gram 在任何预算下做好，按数千条规划并尽早换预训练编码器。对做多语种数据配比的人来说，「池化只在小预算有效、过线即负收益」这条比任何迁移直觉都更该写进配方文档。

相关链接：https://arxiv.org/abs/2609.37882 、 https://arxiv.org/html/2609.37882v1

三、LLM 标注的仪器不确定性

事件概述。马里兰大学与慕尼黑团队做了一次压力测试：7 个 LLM、12 种任务设计、3 次独立运行，给 3,000 条推特标注攻击性语言（OL）与仇恨言论（HS），合计 755,999 个标签。结论是重复同一套设置得到的高一致性，不等于换一套同样合理的设计之后还稳。

技术细节。同一模型加同一任务设计重复运行，Fleiss κ 中位 0.91；换成另一套任务设计，Cohen κ 中位降到 0.76。把流行率估计的方差逐层累加：OL 的 95% 区间半宽从纯抽样的 150 个基点，加运行间波动后到 160，加任务设计与「模型×设计」交互后到 1,110，加模型选择后到 1,280，对应设计效应 76.7；HS 一路到 1,770，设计效应 110.6。任务设计这一层的变动就有 560 到 572 个基点，超过五个人类问卷版本之间的 270 到 331 个基点。置信度分数救不了场：它追踪的是重复输出之间的稳定性，不是与人类标注的一致度；把六条推特塞进同一个 prompt，OL 的平均置信度降了 660 个基点。成本侧，批量呈现把每轮调用从 3,000 降到 500，三轮 3,000 条的成本从 0.73 美元降到 0.18 美元（GPT-4o-mini），GPT-5.4 比 GPT-4o-mini 贵约 17 倍。

对大模型数据工作的影响。用 LLM 产标签再喂回训练，这套流程现在缺一个默认动作：换两三种同样说得通的任务设计，把得到的标签分布摊开看。论文明确留了一个未答的问题——他们只比较标签本身，没有用这些标签训下游模型，所以这层不确定性会不会传导到模型表现仍属未知。对做数据质检的人，这恰好是下一步最值得补的实验。

相关链接：https://arxiv.org/abs/2609.35824 、 https://arxiv.org/html/2609.35824v1

四、用参考预报器的损失给时序预训练窗口打分

事件概述。清华团队针对时序基础模型（TSFM）提出静态方法 RFL：用一个参考预报器给每个候选训练窗口打分，然后在每个源数据集内部保留中间区间的样本，而不是全局取最优或随机抽。

技术细节。理论部分是先建立归一化平方损失与逐样本梯度范数之间的联系（局部雅可比条件下前者控制后者），据此定义参考损失分数，再用数据集分层选择保住多样性。GIFT-Eval 上的结果分保留率看：80% 保留时三个目标架构全部优于全量预训练与等量随机子集——Chronos-Bolt Base 的 MASE 0.777 对全量 0.796、随机 0.799，CRPS 0.542 对 0.555 与 0.549；Moirai-Base 的 MASE 1.005 对 1.017 与 1.022，CRPS 0.680 对 0.698 与 0.701；TimesFM 2.5 的 MASE 0.804 对 0.813 与 0.835，CRPS 0.554 对 0.558 与 0.576。40% 保留率时普遍不如全量，说明砍太狠会伤到覆盖率。参考模型的分析给了一个实用结论：跨尺度、跨架构的分数相关性很强，小参考模型可以给大目标选数据，前提是二者的难度排序相容。

对大模型数据工作的影响。留两头之外的中间段，这条规则与文本侧「按难度或按质量筛极值」的习惯相反，值得放到自己的池子上试一遍。更值得注意的是省下的算力是纯收益：六个指标全部在只用八成窗口的前提下超过全量，意味着滑窗构造阶段的冗余比想象中大，尤其是相邻窗口共享观测的时序数据。

相关链接：https://arxiv.org/abs/2609.37255 、 https://arxiv.org/html/2609.37255v1

五、最优数据指数 1/3 与优化器无关

事件概述。MIT 与宾夕法尼亚大学团队指出，此前关于 1/3 指数的解释只覆盖了 SGD，而实际训练用的是自适应优化器。他们把两个常被混用的指数分开：单条训练过程中损失随步数下降的动态指数，与调优到最优后损失随数据量 D 下降的最优数据指数。

技术细节。在线 teacher–student 设置下，损失被拆成范数增长（径向通道）与朝教师方向对齐（切向通道），各自以动态指数 αr 与 αt 衰减。SGD 下两者都接近 1/3；Adam 下明显分离，αr≈0.48 而 αt≈0.08。总损失在两通道平衡时最小，由此推出最优学习率是优化器相关的：SGD 与 D 无关，Adam 随 D 下降。调到各自的最优点之后，两者的损失都回到 D^{-1/3}。机理是一条动态指数关系 2αr+αt=1，七个优化器（含 Muon）的实测都落在这条线上，它把最优数据指数锁死在 1/3。包络拟合上，七个里六个落在 1/3 的 2.5% 以内，跨优化器散布 0.004；SignGD 是例外，其分批次包络斜率从 B=16 的 0.06 升到 B=2048 的 0.33，说明它只是还没进渐近区。作者还排除了一个竞争解释：若存在不衰减的协方差扇区，αt 会停在 0 且 αr 不受约束，而和律要求 αr=(1−αt)/2=0.46，实测 0.48。

对大模型数据工作的影响。换优化器改变的是每步学多快，不是每样本换多少损失。做预训练数据预算时，优化器影响前置系数与最优学习率随规模的缩放方式，不动数据量指数本身；反过来说，如果某一组实测的数据指数偏离 1/3，先怀疑调参没到最优点，而不是先怀疑数据的 Scaling 行为变了。