数据论文速递 · 2026年09月16日

本期概览

本期五篇讲的是同一件事的不同侧面：数据从哪来、怎么合成、怎么判断好坏。具身智能侧把机器人经验做成可复用的基础设施，并把采集端参数写进标度律；时序侧开源了完整预训练配方，把真实语料与合成生成器的配比摊在明面上；剩下三篇都在 LLM 侧——用可执行代码当推理数据的合成媒介、用失败样本倒推该补什么数据、以及处理合成偏好数据里的风格偏置。

一、The Robot Data Factory：把机器人经验做成基础设施

论文信息：The Robot Data Factory，arXiv:2609.16705，https://arxiv.org/abs/2609.16705（2026-09-15 提交，21 位作者）

核心问题：具身智能的数据工作长期把机器人数据集当成静态产物——采一批、训一次、用完即弃。落盘时观测、动作与后果之间的因果链被截断，后续既无法回放，也难以跨机型复用。

关键发现：论文把核心资源重新定义为「机器人经验」（robot experience），即保留观测、动作、本体、上下文与结果的完整交互记录。RDF 用可复现的 mission 组织异构机器人与训练场，配套技能课程、同步多模态采集、外部真值、agentic 机器网络、数据管线与持续更新的基准，把「部署—测量—学习—重复」跑成循环。结构上提出 mission-task-skill-episode-dataset-benchmark-capability 七层分级，并把机队规模、传感器采样率、存储、学习表征、tokenization、训练算力、推理时延一并纳入定量标度律，反推 Embodied-AI 集群的需求。

实践启示：数据基础设施的计价单位可以从「条数」换成「经验时长 × 模态完整度」。标度律里显式带上采集端参数，好处是做集群规划时能先算传感带宽与存储，再算 GPU，而不是反过来。

二、Tabby：一份摊开的时序基础模型预训练配方

论文信息：Tabby: An Open Pretraining Recipe for Time Series Foundation Models，arXiv:2609.13956，https://arxiv.org/abs/2609.13956（2026-09-12 提交，12 位作者）

核心问题：时序基础模型的开放工作多数只放权重，语料构成与训练流程不公开，数据配比的影响无从复现，别人也没法在自己的数据上照着调。

关键发现：Tabby 采用 encoder-only 的 patch Transformer，1.45 亿参数，上下文最长 8,192 个观测点。预训练语料由两部分拼成：扩展后的真实集合 GIFT-Eval-Pretrain+ 与 BLAST，加上 KernelSynth 与 CauKerV2 两个合成生成器——后者通过随机采样结构因果模型，在线组合出不同的时序动态。训练侧把渐进式收敛调度（顺带产出可复用的中间检查点）与中间层深度分位数监督绑在一起。同一骨干在 GIFT-Eval 与分布外的 TIME 上做零样本预测有竞争力，也能直接顶上 UCR Archive 的分类与 TSB-AD-U 的零样本异常检测，代码与模型开源在 huawei-noah/trustworthyAI。

实践启示：真实语料配一个在线合成生成器，比攒一个固定规模的离线合成集更好调——配比可以在训练时改，不用重新生成。中间层监督加渐进调度让长训练过程不断产出可用检查点，试错成本降一截。

三、MIMIC：用可执行代码合成推理数据

论文信息：The Imitation Game: When LLMs Learn to Reason Like Programs via Code-Centric Reasoning Data Synthesis，arXiv:2609.16076，https://arxiv.org/abs/2609.16076（2026-09-13 提交，13 位作者）

核心问题：模型写代码还行，做细粒度的确定性推理却常靠语义近似蒙混过关，根子上是缺带过程监督的训练数据——答案对不对能验，中间步骤对不对没人管。

关键发现：MIMIC 把可执行代码当成推理数据合成的严格媒介，通过叙述融合、代码引导的测试合成与动态代码插桩，把算法转成可验证的推理轨迹。插桩拿到的显式中间执行状态直接构成 Code-Instrumented Reward（CIR），给强化学习提供稠密的过程监督，不需要另训奖励模型。在合成数据上做 SFT 与 GRPO 之后，通用推理、复杂数学与细粒度确定性任务上的准确率都有一致提升。

实践启示：与其让模型给自己的推理步骤打分，不如找一个能跑的东西当校验器。代码插桩顺手产出的中间状态就是现成的过程奖励信号，省掉奖励模型那一整套。

四、FORGE：让失败样本同时驱动提示与数据

论文信息：Failure-Guided Co-Evolution of Prompts and Training Data，arXiv:2609.15209，https://arxiv.org/abs/2609.15209（2026-09-14 提交，2 位作者）

核心问题：自动提示优化（APO）的训练集是固定的，迭代再多，反馈也只来自这批数据已经覆盖的弱点，相关的失败条件始终进不了视野。

关键发现：FORGE 把每次失败读成双重信号——既说明提示该往哪改，也说明该合成什么新证据。它把不完美的执行抽象成可复用的失败模式，用四种互补的变异策略合成新数据，验证通过的样本再回流到提示搜索，让更新后的提示暴露出下一轮的数据需求。八个异构基准上，聚合分数比未优化基线高 16.52 个百分点，优于所有参评 APO 基线；合成数据还能外溢：同等优化预算下，九组 APO 对比全部提升 2–9 个点，三组 GRPO 对比提升 4–8 个点。

实践启示：提示优化与数据合成不该拆成两条独立流程。失败样本是最便宜的数据需求来源，先建失败模式库，再谈要不要加数据量。

五、SD-DPO：合成偏好数据里的风格偏置

论文信息：Style-Debiased DPO: Updating LLM Knowledge with Factuality-Aware Synthetic Preference Data，arXiv:2609.16532，https://arxiv.org/abs/2609.16532（2026-09-15 提交，2 位作者）

核心问题：继续预训练配合改写、扩写这类数据增强，能把小语料的知识存进模型；存进去不等于取得出。用模型自己的错误答案当 rejected、金标准当 chosen 做 DPO 时，若目标知识只是「部分已知」，多数 rejected 其实事实正确，与 chosen 只差长度和措辞——DPO 会把这些正确内容一并压下去。

关键发现：SD-DPO 给每对样本先做一次事实性判定，把 rejected 事实正确的那些对翻转偏好方向并重新加权，使风格差异带来的学习信号在整体上相互抵消。在 EntiGraph 合成数据上做完继续预训练之后，SD-DPO 在 QuALITY 阅读理解基准上超过了同基座、同合成数据的 CPT 基线。

实践启示：构造偏好数据前先过一遍事实性判定，别默认「模型答错的就是负样本」。长度、措辞这类风格维度要在损失层面显式抵消，否则 DPO 容易退化成长度优化。

小结

五篇合起来看，数据工作的重心正从攒量转向可验证、可复现、可反哺：RDF 与 Tabby 把采集端参数和语料配方摊开，MIMIC 与 FORGE 分别用可执行性和失败信号给合成数据找质量锚点，SD-DPO 则提醒我们，偏好数据里的风格偏置会吃掉大部分学习信号。