数据论文速递 · 2026年09月10日

本期五篇论文分属数据工作的四个环节：数据配方与清洗、数据筛选器、合成数据的训练协议、评测集与预训练语料的关系。它们的共同点是把”数据好不好”从一个标量判断拆成了可操作的具体问题。

VidaForge：把视频预训练数据配方做成可执行工作流

论文信息：VidaForge: Open Research Infrastructure for Video Pretraining Data Recipes，arXiv:2609.06652（2026-09-06，7 位作者）

核心问题：视频基础模型越来越依赖大规模预训练数据，可端到端的数据管线基本是封闭的。想验证”某个数据决策如何影响预训练”，研究者往往得先自建一整套基础设施，试错成本高到让人放弃假设检验。

关键发现：作者把一条数据配方表示成从原始视频到训练集的五阶段可执行工作流，工作流里的任一决策都可替换，替换后仍能追踪每个样本的产生路径。用这套设施对比不同覆盖度与质量的数据配方，在 Wan 2.1 与 V-JEPA 2.1 的从头预训练早期阶段，覆盖度更广的配方下游基准分数最高，而基于 loss 的评估却偏向另一条配方——两种评估给出的排序并不一致。作者一并开源了 VIDAFORGE-3M，含 314 万个场景级片段、总计 6475 小时，带细粒度标注和策展信号。

实践启示：视频数据配方第一次有了可复现实验的公共底座。做多模态预训练数据时应把”配方版本”当成模型版本一样管理，并记录每个样本的来源与筛选路径；评估侧要警惕单看 loss 选配方，loss 最优不等于下游最优。

RoboDrop：用梯度兼容性筛掉坏演示，真实机器人成功率 35.0% → 67.5%

论文信息：RoboDrop: Curating VLA Post-Training Data via Local Gradient Compatibility，arXiv:2609.10021（2026-09-09，7 位作者）

核心问题：VLA 模型靠大规模预训练获得泛化能力，适配新任务与新本体仍要在新采集的数据上做后训练。后训练针对具体任务与本体，对数据质量格外敏感。采集到的机器人数据集里混杂着执行失误、传感器漂移、时间戳错位等异质错误，人工检查成本高，已有的数据清洗方法往往只针对特定类型的损坏。

关键发现：RoboDrop 用训练轨迹上的局部梯度兼容性作为监督信号质量的代理指标——一个样本对后训练到底起什么作用，用它的梯度和验证样本的梯度比一比。具体做法是在一轮 warm-up 训练中，把每个候选样本的梯度与任务语义和视觉上匹配的验证样本梯度做在线比对，得到样本级分数，再按 episode 聚合，最后用一条简单的自动后处理规则转成过滤决策。在受控的观测—动作损坏、仿真中天然次优的演示、以及含非专家采集错误的真实机器人数据集三类设定下，RoboDrop 识别不可靠演示的准确性都超过已有方法；用清洗后的数据做后训练，真实机器人 rollout 平均成功率从 35.0% 升到 67.5%。

实践启示：判断一条数据该不该留，不只看它本身像不像坏数据，还看它的梯度方向跟”你真正想让模型学会的那批数据”是否一致。这套”先跑一轮 warm-up 打分、再按 episode 聚合过滤”的流程开销可控，对 VLA 之外的后训练数据清洗同样可迁移——尤其是错误类型事先枚举不全的场景。

Edu-QuRating：把”教育价值”从一个分数拆成六个维度

论文信息：Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements，arXiv:2609.09425（2026-09-08，8 位作者）

核心问题：教育类数据过滤器是提升语言模型预训练的实用手段，可多数过滤器把教育价值压成单一标量。当语料本身教育密度已经很高时，一个标量难以区分用途——学习材料需要准确、有吸引力、结构清晰，还要区分面向学习者还是面向教师。

关键发现：沿用 QuRating 的路子，先定义教育专用评分准则，用 LLM 裁判标注文档对的偏好，再把成对偏好蒸馏成可复用的 Edu-QuRater，对单个文本块按多条教育标准打分。在两类序列分类基座与六条教育准则上，最优 Edu-QuRater 复现留出集上 GPT-4.1-mini 成对判断的平均准确率为 0.917。作者给 3.2225 亿篇 FineWeb-Edu-Fortified 文档打分构造过滤后的预训练配比，单次预训练对照实验中，用该配比训练的模型在九个基准上的汇总准确率高于 FineWeb-Edu 基线，增益集中在特定任务。第二个用法是把打分作为 GRPO 后训练的奖励项，Edu-QuRater 与答案结构奖励组合后，产出结果在教学品质和指令遵循两方面都优于 Qwen3-4B 基座。

实践启示：蒸馏成对偏好得到的打分器，成本远低于逐文档调用大模型裁判，且可一次打分、多次复用。数据筛选器从标量升级为按维度打分后，同一批语料能按用途切出不同配比；打分器还能直接当奖励模型用，一份标注投入吃两遍。

合成数据不一定导致模型坍缩，取决于训练协议

论文信息：Learning with Synthetic Data via SGD in High-Dimensional Linear Regression，arXiv:2609.09572（2026-09-09，2 位作者）

核心问题：合成数据是突破人类数据规模限制的常用手段，也带来强模型坍缩（model collapse）的风险——固定比例的合成数据会让性能在数据扩规模时不再提升，留下一个不消失的风险下界。

关键发现：作者在高维线性回归带模型偏移的设定下，给出混合训练与两阶段训练的有限样本风险界，把标准偏差方差与源不匹配效应分开：混合训练带来波动与持续漂移，两阶段训练带来被过滤的初始化偏差。两种协议呈现鲜明对照——混合训练诱发强模型坍缩，两阶段训练只在第一阶段用合成数据，从而避开了那个下界。在随机 sketch 模型下，作者进一步给出两种协议的 scaling law（混合训练在优化饱和区的结果是紧的）：模型越大，混合训练下的合成数据退化被放大；两阶段训练中，合成预训练质量越高，偏差降得越多。最后给出了在相同真实数据预算下两阶段训练严格优于纯真实训练的充要条件。

实践启示：合成数据本身无所谓好坏，关键在质量与掺入方式。把合成数据集中放在预训练前期、后期只喂真实数据，比全程按比例混合更稳；模型规模上去以后，混合比例的风险不降反升。做合成数据扩容前，先定清楚掺入协议，别只调比例。

时间上的留出集不等于新领域：预训练熟悉度照样起作用

论文信息：A Later Test Set Is Not a New Domain: Pretraining Familiarity Survives a Contamination-Free Hold-Out，arXiv:2609.10357（2026-09-09，2 位作者）

核心问题：时序基础模型的评测几乎全用早于模型发布的公开数据集，高分分不清是真泛化还是预训练时见过测试集。直观的补救办法是换用晚于模型发布的数据。

关键发现：作者构建了这样的留出集：13 个预测器（4 个经典方法、3 个按数据集训练、6 个预训练模型）、7 个分组覆盖 5 个领域，每条观测都发布于最后一个模型发布之后，且无需 API key 即可重建。在这个协议下，预训练模型在 7 组中赢下 5 组，一组输给 Theta 基线；在日频汇率上与季节性朴素预测无法区分，其余方法也一样。能解释胜负的指标不是输入窗口上的季节强度和谱熵（季节强度若说有什么关联，是负相关），而是语料熟悉度。最大的增益出现在周频维基百科页面浏览量上，比最优经典方法低 28% MASE——而维基百科页面浏览量正是 TimesFM 作者描述的预训练语料主体，粒度和频次一致，只差时间窗。在预训练模型家族内部（各模型预测同一批序列，序列难度相互抵消），TimesFM 家族在维基百科上比 Chronos 家族平均高 0.53 个名次，其他领域只高 0.09 个名次（1500 条对比 754 条序列，Mann-Whitney p < 1e-5）。

实践启示：时间留出集能去掉对某个时间窗的记忆，去不掉对某个领域的熟悉。评测基准需要相对于已公开语料来声明留出范围；做选型时，先问自己的领域是否在模型预训练语料里，再问哪个模型更强。这条对 LLM 评测同样适用：只做时间切分的去污染并不充分。

---

本期 arXiv 链接均来自 2026-09-10 当日 arXiv API 实抓结果，ID 与标题已逐条回 abs 页校验。