数据论文速递 · 2026年09月13日

本期概览

本期五篇论文落在数据链路的五个不同位置：低资源语料下的预训练组织方式、工具调用数据的合成流程、金融领域后训练数据的挖掘与筛选、跨具身视频的规模化预处理，以及记忆向泛化转变的定量标度。共同点是都拿可复现的实验把「数据处理该怎么做」变成了可测量的结论，而不是停在经验描述。

数据高效语言建模：从前沿推进到原则引导的模型改进

论文信息：Data-Efficient Language Modeling: From Frontier Advancement to Principle-Guided Model Improvement · arXiv:2609.10702 · https://arxiv.org/abs/2609.10702 （2026-09-09，16 位作者）

核心问题：在 BabyLM 2026 Strict-Small 的硬约束下——语料不超过 1000 万词、累计词呈现不超过 1 亿——如何让模型学会利用上下文、泛化到新输入，并且不丢掉已有能力。

关键发现：三阶段把「刷榜」和「找规律」拆开了。第一阶段用紧凑复述、预算再投入与残差增量学习堆出前沿模型；第二阶段发现精确重复与对齐复述催生的上下文利用模式并不相同，取决于目标任务关系与预测窗口，在受控任务里「把熟悉样本的性能找回来」不等于「陌生输入还能调用已学到的计算」；第三阶段据此改写训练方案——保留源文本、遮蔽更多局部线索、只监督选定目标、对通常被遮蔽的输入保留预测。两个同源 continuation 种子在九项指标全聚合上均超过普通 continuation，Overall 由 42.02 升到 42.25，第二代在 2026 年 9 月 8 日的 Strict-Small 公开快照上拿到最高 Overall。

实践启示：值得抄走的是那条可检验的原则——围绕预测所需的上下文依赖来组织经验，并把「可见信息」「监督信号」「保留机制」分开设计。数据受限场景下，重复策略与复述策略不能互换，选之前先确认目标关系类型。评测时把「学习」「泛化」「保持」三组指标分开看，只报聚合分会掩盖保持项的回退。

ToolLoop：分解生成 + 动态自反馈的回路式工具调用数据合成

论文信息：ToolLoop: Closed-Loop Tool-Use Data Synthesis via Decomposed Generation and Dynamic Self-Feedback · arXiv:2609.09072 · https://arxiv.org/abs/2609.09072 （2026-09-08，8 位作者）

核心问题：现有工具调用数据合成多走「先生成、后过滤」的路子，验证是静态的事后步骤，产出的分布常常失衡、样本利用率低。

关键发现：ToolLoop 把合成拆成三级渐进阶段——先采样函数名组合作为真值，再反向推导用户查询，最后正向推导工具调用，每一级都挂上动态自反馈，把范式从 generate-then-filter 换成 generate-verify-refine。1.1 万条合成样本训出的 4B 模型在 BFCL 非推理模式达到 86.40%；去掉与 BFCL 重叠候选函数的 Isolate 变体仍有 86.07%，说明增益不是靠评测集泄漏。跨基准的 ACEBench 上，只用基线 18.3% 的训练数据量拿到 72.1% 整体准确率。

实践启示：数据合成里「验证」的位置比力度更关键——把校验前移到每个生成子步骤，比生成一大池子再筛要省。反向构造（先定真值再倒推 query）天然可控分布，是做覆盖度均衡的现成手段。评测合成数据时务必留一个去重叠变体，否则无法区分能力提升与评测集污染。

面向金融推理的数据中心后训练：挖掘、蒸馏与可验证学习

论文信息：Data-Centric Post-Training for Financial Reasoning: Mining, Distillation, and Verifiable Learning · arXiv:2609.10113 · https://arxiv.org/abs/2609.10113 （2026-09-09，5 位作者）

核心问题：金融文本、教材、问答对数量不少，能直接用于推理型后训练的只是其中一小撮——现有问答缺显式推理、缺足够上下文或答案不可验证，教材则要先转成合成训练样本。

关键发现：流程是三条互补语料加三道分类器。先挖掘开源推理轨迹、蒸馏金融指令数据、用知识图谱引导从教材生成问答；语义去重后，三个轻量序列分类器分别挑金融相关样本、拒掉欠规范问题、识别适合配规则化验证器做 RL 的任务。FINESSE-Bench 上的结果反直觉：普通 SFT 让准确率下降 3.2–4.0 个百分点，自蒸馏 SFT 反而比起始模型高 1.0–2.8 点；等权合并比其 SFT 父本回收 3.0 点、比原模型高 0.9 点；GRPO 在自蒸馏 SFT 之后加 0.4 点，直接用在可验证任务上加 3.0 点。

实践启示：领域后训练掉点往往不是数据不够，而是新数据把旧能力冲掉了，得把「保持」当成显式目标——自蒸馏与模型合并是两条低成本路径。分类器做数据准入比人工规则好扩展，三个小分类器各管一件事，比一个大判别器好调。RL 的投放位置影响很大：可验证任务上直接 GRPO 收益最高，先 SFT 再 GRPO 只剩零头。

HuRo：把人类视频机器人化，用于 VLA 规模化预训练

论文信息：HuRo: Robotizing Human Videos for Scalable VLA Pretraining · arXiv:2609.10706 · https://arxiv.org/abs/2609.10706 （2026-09-09，7 位作者）

核心问题：真机数据采集昂贵，人类视频规模大、多样性好，但存在具身差距。已有的机器人化方法要么只在任务匹配的小场景里做，要么在规模化的同时把观测对齐和动作对齐分开处理。

关键发现：论文给出一条把异构人类视频转成机器人对齐观测与动作轨迹的处理管线，跨标注层级推断缺失的中间信号，据此构建 HuRo——约 63 万条机器人化 episode、1.42 亿帧，来自五个人类视频源。四个真实操作任务上，机器人化预训练规模增大把整体完成率从 51.5% 推到 80.3%，空间与视觉偏移下的 OOD 完成率从 34.9% 推到 72.2%。消融显示视觉机器人化主要改善 OOD 鲁棒性，端到端预训练配重定向动作优于只做视觉迁移。

实践启示：跨具身数据的价值不在补量而在补分布——OOD 涨幅（37.3 个百分点）明显大于整体涨幅（28.8 个百分点），多样性收益集中在泛化侧。数据管线里「跨标注层级推断缺失信号」这一环是被低估的成本中心，做规模化前先把标注层级差异摸清。评估这类数据应单独报 OOD，否则会低估它的贡献。

量化记忆到泛化的转变：Grokking 中的标度律与相结构

论文信息：Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking · arXiv:2609.10657 · https://arxiv.org/abs/2609.10657 （2026-09-09，单作者）

核心问题：网络过记忆之后常会延迟出现泛化（grokking）。已有理论解释了为什么会发生，而「什么时候」发生在超参数空间里的定量结构一直没被刻画。

关键发现：在两层 MLP 做模运算的 384 组配置上拟合出泛化起始时间的幂律标度：T_grok ∝ H^-0.27 · D^-2.04 · η^-0.50 · λ^-0.64（R² = 0.732，加入交互项后 0.821）。指数层级给出了明确排序：数据复杂度 D 的指数 -2.04 是主导项，模型容量 H 的 -0.27 影响最小——数据翻倍把泛化提前约 4 倍，宽度翻倍只带来约 1.2 倍。权重衰减 λ ≳ 1.0 处存在清晰相界，把会 grokking 与不会 grokking 的配置分开；转变过程中权重范数单调压缩，与隐式正则化偏好低复杂度解的图景一致。

实践启示：「加数据还是加参数」的争论被换成了可比较的指数——在这组设定下投数据的回报量级约为投宽度的 3 倍。想预测或控制训练是否会跨过泛化拐点，先量 λ 是否越过相界，比盯 loss 曲线更有效。R² 只有 0.73 说明仍有未被这四个变量解释的结构，直接外推到真实大模型语料需谨慎。

小结

五篇里三条线索可以连起来看：数据合成正在从事后过滤转向过程内验证（ToolLoop），数据筛选正在从单一质量分转向分职责的准入分类器（金融后训练），数据规模化的收益正在被拆成整体与 OOD 两本账（HuRo）。BabyLM 那篇提醒了一件事——重复与复述不是同一种数据增强，混用时聚合指标会撒谎。Grokking 的标度给了一个粗粒度但可比的口径：在这类受控设定下，数据侧投入的边际回报远高于容量侧。