数据论文速递 · 2026年08月04日

引言

数据工程的核心矛盾正在从”怎么获取更多数据”转向”怎么在有限验证和计算预算下，让每个数据点发挥最大效用”。本期四篇论文从不同角度回应了这一挑战：RTLCurator 提出”验证 10% 即可超越全量训练”，证明行为感知的兼容性先验可以替代逐条仿真；Curriculum Matters 证明合成数据的呈现顺序比原始规模更关键——同样 5,500 个合成数据库，渐进课程恢复 88% 性能，而一次性全部喂入直接崩塌；What Transfers from Text to Vision 建立了首个跨模型族的 VLM 缩放定律，发现文本基座的”吸收率”才是决定多模态数据效率的关键，而非单纯的参数规模；Data Turnstile 则展示了小模型的逆袭——0.6B 参数模型通过高质量合成函数调用数据，在特定任务上逼近 4B 模型，1.7B 甚至超越 32B。四篇论文共同指向一个结论：数据工程的价值不取决于你有多少数据，而取决于你怎么验证、怎么排序、怎么选择基座、怎么生成。

---

RTLCurator: Label-Efficient Data Curation for RTL Generation

论文信息：RTLCurator: Label-Efficient Data Curation for RTL Generation，arXiv:2607.29283，2026-07-31，cs.AR / cs.LG

核心问题：合成训练数据可批量生成，但验证其功能正确性却极其昂贵（仿真、testbench 编写、专家判断）。当验证预算有限时，应该把预算花在哪些样本上？仅保留通过验证的样本是否最优？

关键发现：

• 两大公开 RTL 数据集的规格-代码对通过率仅 24.4% 和 53.5%——合成数据补上了数量，却埋下了行为错误的隐患
• RTLCurator 学习行为感知的兼容性先验：通过将规格与仿真失败的实现对比，编码器学会区分”表面相似”与”行为相似”
• 仅验证 10% 的语料池（用于校准），保留 80% 的数据，就超越了全量训练——在 CodeV 上 Machine pass@5 从 84.52 提升到 89.77，RTLLM v1.1 functional pass@5 从 52.86 提升到 63.97
• 纯对齐分数排序甚至低于随机选择，证明必须同时平衡对齐度、表示覆盖度和结构丰富度

实践启示：对于任何验证成本远高于生成成本的领域（代码、数学证明、科学计算），“验证全量→只保留通过者”是最差的策略。行为感知的兼容性先验可以在极少验证标签下建立全池排序，然后将验证预算精准投向信息量最大的区域。这一范式对预训练代码数据和数学推理数据同样适用。

---

Curriculum Matters: Data-Efficient Relational PFN Pretraining with Synthetic Data

论文信息：Curriculum Matters: Data-Efficient Relational PFN Pretraining with Synthetic Data，arXiv:2607.29120，2026-07-31，cs.LG

核心问题：合成预训练数据的规模是否是性能的唯一决定因素？数据呈现的顺序（课程设计）能否大幅降低对合成数据量的需求？

关键发现：

• 使用 PluRel 作为唯一合成数据源，渐进式单表课程（从 7 列逐步扩展到 17 列）仅用约 13,300 张合成表即达到 0.703 ROC-AUC——而相同数据一次性全部训练直接崩塌至 0.541
• 关系型课程从零开始仅用约 5,500 个 PluRel 数据库，在 RelBench/4DBInfer 上恢复 RDB-PFN 已报告性能的 88%，但合成数据量减少约 220 倍
• 最惊人的发现：单表课程模型直接在关系型基准上评估（不做任何关系适配）即达 0.631，几乎匹配专用关系管线——说明关系推理能力可从结构化的单表数据中涌现
• 合成数据的多样性和课程设计比特定生成器或原始规模更重要

实践启示：在合成数据预训练中，“怎么喂”比”喂多少”重要得多。渐进式课程（从简单到复杂、从窄到宽）可以将数据效率提升 45-220 倍。这对 LLM 预训练数据组织同样有启发——当前预训练数据的呈现顺序几乎完全随机，是否可以通过结构化的课程设计大幅提升数据效率？

---

What Transfers from Text to Vision? Capability Scaling Laws and Transfer Dynamics for VLMs

论文信息：What Transfers from Text to Vision? Capability Scaling Laws and Transfer Dynamics for VLMs，arXiv:2608.00013，cs.CL / cs.AI / cs.CV

核心问题：构建视觉语言模型时选择哪个 LLM 基座是最关键的决策，但至今缺乏原则性的选择框架——计算量缩放定律无法跨模型族泛化，能否直接从文本能力预测多模态性能？

关键发现：

• 提出 Capability-Driven Multimodal Scaling Law：从 LLM 文本基准中提取低维能力分数 S（通过 PCA），建模 VLM 性能为 S 的函数，含每基座的迁移率（transfer rate）和吸收率（absorption rate，量化数据缩放效率）
• 在 34 个 LLM、7 个模型族、150+ VLM 上验证：定律可从 8B 参数模型准确外推迁移率到 72B 规模，预测完整 VLM 训练轨迹
• 关键发现：base LLM 作为 VLM 基座优于 instruction-tuned 版本——因为更高的吸收率和更低的数据缩放衰减
• 某些文本基准与多模态性能负相关，暴露了”刷榜”行为——文本能力高不一定意味着多模态迁移好
• 不同模型族在迁移-吸收空间中占据不同位置，框架将基座选择从昂贵的经验搜索变为原则性定量决策

实践启示：选择 LLM 基座时不应只看参数量和文本基准得分，更应关注”吸收率”——即模型将文本知识转化为多模态能力的效率。Base 模型 > Instruction-tuned 模型这一反直觉结论说明：后训练对齐可能损害模型的数据吸收能力，这对多模态预训练的数据策略设计有重要参考。

---

Data Turnstile: A Scalable Open Framework for Function-Calling Data Generation

论文信息：Data Turnstile: A Scalable Open Framework for Function-Calling Data Generation，arXiv:2607.29250，2026-07-31，cs.CL

核心问题：小语言模型（SLM）适合边缘部署，但在工具调用任务上表现极差——训练数据稀缺且噪声大。大模型可以通过容量补偿低质量监督，但 SLM 不行——数据质量成为关键瓶颈。如何为 SLM 高效合成函数调用训练数据？

关键发现：

• Data Turnstile 将多轮工具调用交互分解为约束式逐步生成 + 验证 + 错误反馈循环，提供对 API 多样性、对话复杂度和输出正确性的细粒度控制
• BFCL 单轮基准：Qwen3-0.6B 用 Turnstile 数据微调（无 CoT）达 75.9%，超过带思维链的 base 模型（67.4%），逼近 Qwen3-4B（79.9%），尽管参数量仅为后者的 1/7
• τ2-bench 多轮基准：Turnstile 训练的 Qwen3-1.7B 在 Telecom 领域达 31.1% pass¹，比 base 提升 4.7 倍，超越 Qwen2.5-32B-Instruct（27.4%）——1.7B 击败 32B
• 0.6B 模型达 24.6%，比 base 提升 7 倍，逼近 32B 模型——尽管参数量仅为后者的 1/53
• 开源了框架及 1,000+ API、100K+ 多轮交互数据集

实践启示：对于参数受限的端侧模型，高质量领域数据比模型规模更重要。约束式逐步生成 + 验证反馈循环是合成函数调用数据的有效范式，其核心思想——“将复杂交互分解为可验证的原子步骤”——可以推广到其他 Agent 训练数据的合成场景。当 SLM 通过数据质量弥补规模差距时，1.7B 击败 32B 不再是例外而是规律。