数据工程观察 · 2026年09月14日

本期五条动态都在处理同一个操作性问题：数据侧的改动，到底要在什么粒度上被测量才可信。arXiv 周五批次里，一篇用公开语料索引把”某句话被看过几次”变成可查数字，回头检验损失类成员推断还剩多少证据；一篇在千万词预算的 BabyLM 赛道上拆分重复与复述的不同作用；HuRo 给出跨本体视频数据的规模收益曲线；一篇 grokking 的幂律拟合把数据复杂度推到主导位置；PEARL 则给差分隐私合成数据装了一道会拒稿的放行门禁。

重复次数可查之后，成员推断的证据还剩多少

事件概述：UT Dallas 的 Arman Nik Khah 用 OLMo-2（语料 OLMo-mix-1124）与 Pythia（语料 the Pile）已公开的预训练语料，配合 infini-gram 公开索引，把”某句话在语料里出现过几次”从猜测变成确数，重新检验了基于损失值的成员推断。论文 2026 年 9 月 9 日提交，一并放出句库、计数与代码。

技术细节：作者用 1B 到 13B 的五款模型做三组测量。第一组走差分设计：同一句话分别穿过两个模型，按构造抵消掉流畅度与文本质量的影响，得到的秩相关约为 −0.08（−1 为完全相关，0 为无关）——在普通文本实际具有的重复水平上，模型对自身曝光的痕迹极弱。第二组定位信号变强的位置：重复约一千次以上痕迹才明显，而此时两个语料指向的是同一批名句，曝光与”名气”无法区分。第三组拆解评测构造本身带来的假信号：常见的”改一个词造负样本”做法里，模型确实更偏好原句，可原句出现 1 次和出现 100 次时差距相同，说明它奖励的是作者措辞而非记忆；把对照句换成语域不同的句子，检测器 AUC 从 0.83 抬到 0.94（0.5 为随机）。

对大模型数据工作的影响：去重与记忆化口径需要改。重复次数是连续量，用二值”是否成员”标签做的历史评测结论要打折；凡是靠”改一词造负样本”搭起来的检测集，都存在系统性高估。做版权与合规审计时，损失探针在常规重复区间几乎不附带可用信号，语料溯源仍得靠索引而非模型反查。

相关链接：https://arxiv.org/abs/2609.10830

BabyLM 2026：一千万词预算下，重复与复述不是一回事

事件概述：Qiushi Engine 在 BabyLM 2026 Strict-Small 赛道（语料上限一千万词、累计词呈现上限一亿次）完成三阶段自主研究，覆盖前沿推进、原理发现与原理指导下的模型改进，模型已上 Hugging Face。

技术细节：第一阶段用紧凑复述、预算回投与残差增量学习搭出前沿模型。第二阶段做机制拆解：精确重复与对齐复述产生了不同的上下文使用模式，具体形态取决于目标关系类型与预测窗口；在受控任务上，熟悉任务的性能恢复，并不保证未见输入仍能复用已经学到的计算。第三阶段据此调整训练：保留源文本、遮蔽更多局部线索、只对选定目标施加监督，并保留模型在常规遮蔽输入上的预测能力。两个续训种子在九项完整评测上都优于常规续训，Overall 从 42.02 走到 42.25。

对大模型数据工作的影响：小预算配方里，可见信息、监督目标与功能保持要分开设计，堆曝光次数只是其中一个自由度。数据工程上更直接的启发是：语料增强流水线里的”原文重复”与”改写复述”应被当成两类不同算子分别配比，而不是混在同一个”数据增强”开关下。

相关链接：https://arxiv.org/abs/2609.10702

HuRo：63 万条机器人化 episode，把人类视频变成 VLA 预训练燃料

事件概述：HuRo（CoRL 2026 已接收）给出一套把异构人类视频转成机器人对齐观测与动作轨迹的机器人化流水线，并由此构建预训练数据集，回答”机器人化的人类视频能否规模化地供 VLA 策略预训练”这个问题。

技术细节：流水线从五个人类视频源出发，输出约 63 万条机器人化 episode、1.42 亿帧处理后画面，跨标注层级推断缺失的中间信号。在四个真实操作任务上，机器人化预训练规模增大后整体完成率从 51.5% 升到 80.3%；空间偏移与视觉偏移下的分布外完成率从 34.9% 升到 72.2%。消融实验把收益主要归到视觉机器人化这一步。

对大模型数据工作的影响：跨本体数据的可用性由对齐质量先决定，规模收益排在后面。具身数据管线可以照这个模板拆：源视频筛选 → 观测对齐 → 动作反解 → 缺失中间信号补全 → 规模收益验证，每一段单独做消融，避免把收益记在”数据量”这一个账上。

相关链接：https://arxiv.org/abs/2609.10706

Grokking 的幂律：数据复杂度指数 −2.04，宽度只有 −0.27

事件概述：一篇单作者论文在模块化算术任务上跑了 384 组两层 MLP 配置，给”泛化什么时候出现”拟合了超参空间里的幂律关系，量化了 memorization 到 generalization 的转变边界。

技术细节：拟合结果为 T_grok ∝ H^−0.27 · D^−2.04 · η^−0.50 · λ^−0.64，R² = 0.732（加入交互项后 0.821）。指数排序给出的结论偏向数据侧：数据量翻倍让泛化提前约 4 倍，宽度翻倍只带来约 1.2 倍。权重衰减 λ ≳ 1.0 处存在清晰相界，区分出会发生 grokking 与不会发生的配置；转变期内权重范数单调压缩。

对大模型数据工作的影响：这与大模型侧”数据规模是主变量、模型容量是次变量”的 scaling 结论同构，在可控小规模环境里又验了一次。对做小规模验证实验的团队，相界的存在意味着超参扫描必须跨过 λ 阈值，否则会把”没发生”误读成”不存在”。

相关链接：https://arxiv.org/abs/2609.10657

PEARL：96 组设置只有 12 组合成数据拿到放行

事件概述：PEARL（Privacy-Equivalence Audit and Release Ledger）面向差分隐私合成教育数据，把”隐私与可用性分开报分”的惯例改成任务感知的放行门禁，并拒绝时记录原因。

技术细节：框架要求一并通过四类检查才放行：有效性、隐私保护、预测有用性、对目标任务的可适配性。作者跑了 96 个设置，每个由数据集、生成方法、隐私预算与随机种子共同定义，最终只有 12 个产出的合成集通过全部适用检查。被拒的原因里，丢失重要结果分组是常见的一类。

对大模型数据工作的影响：合成数据进训练前需要一道会否决、且留痕的门禁，光报一个分布相似度分数不够。教育、医疗这类小分组敏感的领域，生成之后要补一遍分组完整性校验——隐私预算没变，但少数群体被抹掉时，下游模型照样会坏。

相关链接：https://arxiv.org/abs/2609.10612