数据论文速递 · Vol.91

数据论文速递 · 2026年08月03日

本期聚焦数据受限下的缩放定律统一框架、Agent任务自验证合成、时序推理数据抗泄漏合成、以及数据生成中的token效率——当数据供给成为瓶颈，如何用更少token获得更高质量数据？

论文速递 arXiv Scaling Laws 数据合成 Agent数据 数据效率 token有效性 预训练数据

引言

当高质量数据的增长速度越来越跟不上算力扩张，“数据瓶颈”正从隐忧变成现实。本期四篇论文从不同角度回应这一核心挑战：CD Scaling Laws 首次统一了计算最优与数据最优两大缩放范式，揭示”衍生token”的实际价值远非恒定；Meta-Task 将Agent任务合成本身变成一个可自验证的终端任务，用3K轨迹击败万级数据基线；Distilling Temporal Search 针对时序推理数据合成中的”时间泄漏”问题，提出时间截断harness；Sample More, Reflect Less 则在token预算约束下，给出一个反直觉的结论——简单重复采样优于自我反思。四篇论文共同指向一个趋势：数据工程的核心问题正从”怎么获取更多数据”转向”怎么让每个token发挥最大价值”。

Bridging Compute- and Data-Optimal Pretraining

  • 论文信息：Bridging Compute- and Data-Optimal Pretraining，arXiv:2607.25271，Tian Qin, Kimia Hamidieh, David Alvarez-Melis (Harvard / MIT CSAIL)，2026-07-28

  • 核心问题：经典计算最优缩放定律（Chinchilla）假设高质量预训练数据无限供应，但现实中数据增长已显著滞后于算力增长。当数据受限时，如何最优分配计算与数据资源？

  • 关键发现：

    • 提出 Compute-Data (CD) Scaling Laws 统一框架，引入 token有效性函数 η，量化衍生token（多轮重复/改写生成）相对于原始新鲜token的价值
    • η 远非恒定：它同时依赖于模型规模 N、每参数对应token数（TPP）、以及衍生数据总量，且随语料扩展趋于饱和
    • 三种运行区间：计算受限区、数据受限区、模型受限区——经典Chinchilla分配在大多数实际场景中并非最优
    • 多轮重复 vs 改写：小模型（<50M）改写更优，大模型（>190M）重复更优；TPP>8后两者差异消失
    • 核心洞察：以计算替代数据时边际收益递减——无论模型规模增大还是数据供给增加，均呈现此规律

  • 实践启示：

    • 数据受限预训练需要完全不同的资源分配策略，不能简单套用Chinchilla公式
    • 多轮重复训练在数据受限时仍有价值，但需注意η饱和效应——超过一定轮次后收益递减
    • 大模型场景下，重复比改写更高效，这为”数据不够怎么办”提供了实操路径

Meta-Task: Turning Terminal Task Synthesis into a Terminal Task for Scalable Agent Training

  • 论文信息：Meta-Task: Turning Terminal Task Synthesis into a Terminal Task for Scalable Agent Training，arXiv:2607.27929，Zhihong Pan et al.，2026-07-30

  • 核心问题：训练终端Agent需要大量多样化、可验证的终端任务和高质量交互轨迹，但现有合成方法存在两个瓶颈：任务生成与实际执行脱节导致可靠性差，依赖现有仓库导致多样性不足。

  • 关键发现：

    • 提出 Meta-Task 框架，将终端任务合成本身重新定义为Terminal-Bench格式的任务——Agent在真实容器环境中迭代生成、执行、验证任务，使合成组件在生成循环内就完成一致性检查
    • 沿多维度解耦目标任务需求，引入多阶段机制动态设计新颖任务规格，再生成实际任务
    • LLM-as-Judge 过滤确保训练数据质量
    • 仅3,221条合成轨迹微调Qwen3-14B/32B，在Terminal-Bench 2.0上分别达到22.5%和31.8% Avg Pass@1，以显著更少的训练数据超越同期方法

  • 实践启示：

    • Agent训练数据的质量远比数量重要——3K精心验证的轨迹可以击败万级未验证数据
    • 任务合成应内嵌验证机制，而非事后检查——“生成即验证”是可扩展数据合成的关键
    • 将数据合成本身视为Agent任务，实现了”合成数据的生产过程自动化”

Distilling Temporal Search and Reasoning: Evolving LLMs for Future Prediction via Harness-Assisted Efficient Data Synthesis

  • 论文信息：Distilling Temporal Search and Reasoning，arXiv:2607.25554，Wanxu Cai et al.，2026-07-28

  • 核心问题：未来事件预测需要时序搜索与推理能力，但数据合成面临”时间泄漏”问题——历史查询使预测退化为检索。现有方法要么使用静态观察冻结信息收集，要么依赖拒绝采样丢弃大量数据，导致合成效率低下。

  • 关键发现：

    • 提出 时间截断harness，在每一轮对话中强制执行时间截止点，使TIR风格采样从历史事件中进行，减少时间泄漏
    • 降低对拒绝采样和未解决查询的依赖，显著提升采样效率
    • Harness自然诱导更广泛的时序搜索广度，提高高质量数据比例
    • 蒸馏实验表明，在harness干预数据上训练的学生模型达到最佳性能，证明了harness辅助的模型进化——将更高质量的时序搜索和推理数据转化为学生模型的参数化能力提升

  • 实践启示：

    • 时序推理数据合成的核心挑战是防止”时间泄漏”，需要专门的机制设计
    • 时间截断是一种轻量且高效的抗泄漏策略，比拒绝采样更节省数据
    • Harness辅助蒸馏为”数据合成→模型进化”提供了新范式：先构建高质量数据，再通过蒸馏将数据质量转化为模型能力

Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost

  • 论文信息：Sample More, Reflect Less，arXiv:2607.28576，Iliya Mirzaei，2026-07-30

  • 核心问题：Self-Refine、Reflexion、best-of-N等”再检查一次”的方法通常生成额外的critique/reflection token，但如果不把这些token计入成本，所谓的提升可能只是”多算了一遍”。在等token预算下，自我审视是否仍有优势？

  • 关键发现：

    • 在1.5B、3B、7B模型上，两个数学基准，36组配对比较，没有一种自我审视方法在等token成本下稳定超过重复采样
    • 10种方法在统计上稳定更差，且全部属于让模型自我审视输出的路线；18组自我审视比较的结果方向全部为负
    • best-of-N中让模型自己挑候选答案，在1.5B模型上分别比直接取多数答案低8.0和11.3个百分点；7B时差距缩小至2.0/1.3pp
    • 7B模型上，Self-Refine与强制触发的Reflexion仍比重复采样低3.6至10.1个百分点

  • 实践启示：

    • 数据生成策略选择：生成训练数据时，简单重复采样比自我反思更token高效——同样的token预算，更多独立样本 > 更少但经过”反思”的样本
    • 小模型尤其不应该使用自我反思策略——自我审视的token开销对小型模型影响更大
    • 对数据策展的启示：当token预算有限时，“多生成、少修饰”是更优的数据生产策略

本期小结

本期四篇论文围绕”数据瓶颈下的效率优化”展开，核心发现可归纳为一条主线：

CD Scaling Laws 告诉我们数据受限时资源分配需要重新思考；Meta-Task 展示了”生成即验证”的合成范式如何用极少数据达到SOTA；Distilling Temporal Search 揭示时序数据合成需要专门的抗泄漏机制；Sample More, Reflect Less 则从token效率角度给出反直觉结论——简单重复采样胜过自我反思。

四者共同指向一个趋势：数据工程的核心问题正从”怎么获取更多数据”转向”怎么让每个token发挥最大价值”——无论是通过更精确的缩放定律指导资源分配，还是通过更高效的合成策略减少浪费，或是通过更简洁的数据生成方式避免无效token开销。