数据工程观察 · 2026年09月04日
预训练token预算固定时把重复换成辅助视图反而学得更好、Coupled Scaling把架构可达表征几何引入Scaling Law、泰语OCR用45723页合成数据把印刷体CER打到1.24%、Nvidia以129亿美元收购Hugging Face
9 月 4 日的四条动态都在回答同一类问题：改动数据的组织方式，能在多大程度上影响模型学到的东西。两篇论文分别给出预训练侧的 token 分配实验和 scaling law 的表征可达性框架，一篇技术报告用泰语 OCR 划出了合成数据的能力边界，Nvidia 收购 Hugging Face 则牵动了整个开放数据集分发层的归属。
预训练 token 预算固定时，把重复换成”辅助视图”能学到更多
EMNLP 2026 Findings 接收的这篇论文研究 LLM 在预训练阶段如何获取知识，核心假设是：同一知识的改写形式（作者称之为 auxiliary views）对学习有因果性的帮助。团队用受控实验隔离这个变量，得到五条结论。
第一条确认重复是知识获取的必要条件，并澄清改写只在较小 batch size 下有帮助。第二条是全文最有分量的一条：在 token 预算固定的前提下，把原本用于文档重复的 token 挪给辅助视图，学习效果反而提升，连事实回忆类任务也一样——直觉上多重复几遍原文应该更利于记忆，实验结果相反。第三条，辅助视图的效果不取决于生成它的教师模型有多强。第四条区分出两类在先验知识缺失时特别有用的知识形态：上下文型和基础型。第五条从机制上给出解释，这些效应表现为逐层偏置和压缩行为的变化。作者据此认为，大规模预训练语料里天然存在的知识改写形式，是预训练成功的关键因素之一，也为”数据多样性为什么重要”提供了可解释的答案。
对大模型数据工作的影响：这条结论直接冲击去重策略。去重的目标是消除冗余，但如果同一事实的不同表述本身就是学习信号，那么把”语义重复”当成纯噪声清掉，可能把知识获取的必要条件一起清掉了。论文给的边界条件很实用——改写只在小 batch size 下有效，说明这不是无条件的加成。做数据配比的团队可以按这条重设实验：固定 token 预算，比较”重复 N 次原文”与”重复 N/2 次原文 + N/2 次改写”两种方案，而不是只看去重率。
相关链接：https://arxiv.org/abs/2609.04180
Coupled Scaling：把架构能触达的表征几何引入 scaling law
现有 scaling law 理论大多从数据几何或预设的数据—模型谱推导，但同一个数据集上训练的系统，只要架构或优化方式改变、能高效触达的表征集合变了，缩放行为就会不同。这篇 35 页论文提出 Coupled Scaling 框架，把有限预算下的缩放指数定义为任务结构与”架构—优化系统可触达几何”之间关系的函数。
在一个可解的模态截断模型里，loss 被拆成两部分：落在架构支撑之外的目标能量，以及支撑内未被解析的尾部。对任意优先级顺序，残差落在”最优 N 项支撑尾部”与”最大已完成高价值前缀之外的尾部”之间。若累积尾部速率记为 γA,T、覆盖对数速率记为 ρA,O,T，则残差指数落在 [ρA,O,TγA,T, γA,T] 区间；在有界离前缀增益条件下，已完成前缀成为速率决定项，指数 αA,O,T = ρA,O,T(bA,T − 1)。固定核的特化情形可以从”任务加权谱测度”的近零尾部直接推出训练时间指数，且该测度独立于 loss 拟合。框架由此把”架构支撑”和”有限预算获取”分开，并给出两个可证伪的检验：静态任务相关几何应当在相同预算下追踪 loss，多尺度几何应当追踪耦合特异的指数排序，包括在对比任务之间出现次序反转。作者还审计了已发表的涌现轨迹，指出要做直接的因子化实验还需要补齐哪些控制变量。代码与可复现产物已开源。
对大模型数据工作的影响：这份框架把”同样的数据喂给不同架构会有不同缩放曲线”从现象变成了可计算的对象。实践中这意味着 scaling law 不能只按数据量拟合——换架构就要重估指数，数据共享带来的收益也随之变化。对数据团队的价值在于它给出的两个检验路径：如果手上已有不同架构在同一批数据上的 loss 曲线，可以用静态几何指标去对齐，判断差异来自架构支撑还是预算分配。论文对已有涌现研究的审计也提醒了一件事，很多被归因于数据的缩放差异，其实缺少对架构变量的控制。
相关链接：https://arxiv.org/abs/2609.03533
泰语 OCR：45723 页合成数据把印刷体 CER 从 6.64% 打到 1.24%，手写体仍停在 20.55%
这篇技术报告研究合成 OCR 监督信号迁移到真实泰文文档的条件，并据此训练出 Wayu-Paxa-OCR-Zero——一个没有用过任何真实泰文文档 OCR 标注的模型。合成数据能给出精确的规模化标注，但”真实感”这个词混淆了源域、页面上下文、字体排版、空间结构和字形变化五个因素，报告用一套受控的文档重建流水线把它们拆开，分别在页面级和裁剪级训练下评测印刷体和手写体。
拆解结果的指向很明确：非文本上下文的影响不稳定，字体多样性、二维结构和真实手写字形这三项则稳定提升迁移效果。源域匹配的作用取决于训练粒度——页面级训练下域内重建接近真实印刷体监督（中位 CER 1.82% 对 1.31%），裁剪级训练下域内反而不如域外重建（15.59% 对 5.52%）。按这些结论调整后，作者用 45723 页合成数据把 0.9B 参数的 PaddleOCR-VL-1.6 适配成 Wayu-Paxa-OCR-Zero：印刷体页面 CER 从基线的 6.64% 降到 1.24%，手写体从 74.87% 降到 20.55%，五组评测集上全面超过 Typhoon OCR v1 7B。
对大模型数据工作的影响：这份报告的价值在于把”合成数据行不行”拆成了”哪一维的真实感在起作用”。字体多样性、二维结构、真实字形这三项有效，背景纹理这类非文本上下文无效，这类结论可以直接迁移到别的低资源语种和版式复杂的文档场景。训练粒度和源域的交互尤其值得注意——同一个数据源在页面级和裁剪级下结论相反，说明合成数据的成败不只看生成质量，还看它和训练组织的匹配方式。手写体 CER 停在 20.55% 也划出了当前合成方案的边界：字形多变、结构不规则的目标域，纯合成仍然够不到可用线。
相关链接：https://arxiv.org/abs/2609.03595
Nvidia 129 亿美元收购 Hugging Face：开源数据集分发层的归属落定，承诺写进了 SEC 文件
Nvidia 确认收购 Hugging Face，交易总额 12,930,300,000 美元，其中约 119 亿归 Hugging Face 股东，最多 10 亿作为加入 Nvidia 员工的股权留存奖励。交易预计 2027 年上半年完成，仍需满足惯例交割条件和监管审批。
争议点在于中立性。Hugging Face 的部分价值来自它是个中立场所，开发者可以在 Nvidia、AMD、Intel、AWS Trainium、Google TPU 之间自由选择加速器；这个平台一旦被其中一方拥有，中立性就成了疑问。黄仁勋在官方公告里多次承诺平台对整个生态保持开放，强调”在 Hugging Face 上构建或部署不需要 Nvidia 算力”，并承诺继续支持多云、多加速器以及来自各家模型厂商的开源和开放权重模型。这些承诺也写进了 Nvidia 提交给 SEC 的文件，文件明确 Hugging Face 会继续允许模型制作者、开发者和用户上传下载自选的模型与数据集，并继续支持其他芯片厂商。文件也提示，未来针对开源 AI 的监管可能影响 Hugging Face 的运营或抬高合规成本。CEO Clément Delangue 的理由是开源 AI 到了规模化拐点，需要更多算力、支持和协作。
对大模型数据工作的影响：Hugging Face 是目前最大的公开数据集分发层，FineWeb 这类公共语料基座就托管在上面，数据团队的日常拉取、版本比对和协作流程都依赖它。承诺写进 SEC 文件比口头声明更有约束力，但 2027 年才交割、且要过监管审批，中间有足够长的观察期。务实的做法是把关键数据集在公司内部或对象存储上留一份镜像，并把开源 AI 监管的走向纳入跟踪——文件里那条合规成本提示，对依赖公开语料的团队来说比收购本身更值得跟踪。