数据论文速递 · 2026年09月08日

本期概览

本期五篇论文沿着一条数据流水线排开：预训练语料从哪里找、数据制备流程怎么自我进化、合成轨迹怎么保证真能跑通、蒸馏样本该挑哪几条、Scaling Law 怎么省算力地拟合。五篇里有四篇在回答同一个问题——不是「数据够不够多」，而是「哪一部分数据真正起作用」。

1. SPT：把技能包当成预训练语料

论文信息：《SPT: Skills as Pre-Training Data for Agentic Language Models》，arXiv:2608.26563（2026-08-27，3 位作者），https://arxiv.org/abs/2608.26563

核心问题：智能体模型的能力主要靠后训练阶段的工具调用轨迹和 agent trajectory 堆出来。这类数据要建任务环境、要执行、要验证，工具和任务的覆盖面每扩一寸，成本就涨一截。公开可用的 skill 包是另一类语料：里面编码了可复用的工具语义和工作流，眼下只在推理时当上下文用。

关键发现：作者提出 Skill Pre-Training（SPT），在 SkillCorpus（公开的多文件技能包集合）上做因果语言建模，可选地与通用数据混合，作为一种 mid-training 方法。为保住同一个包内文件之间的关系，配套给出 Reference Insert 组装策略——把被引用的支撑文件放到主指令中提到它的位置附近。跨多个模型规模与后训练配方，SPT 在智能体性能上稳定优于用通用数据或轨迹数据做 mid-training，通用能力基本不掉。配比实验还显示，技能数据与通用退火语料合并使用能再拿到额外收益。

实践启示：技能包是被低估的预训练数据源，成本结构与轨迹数据完全不同——不需要环境执行与验证。做 agent 数据管线时，值得单独评估「技能语料 + 通用退火语料」这一路配比，把 Reference Insert 这类保序组装当成默认操作，别把多文件包拆散了再喂进去。

2. DataFoundry：让数据制备流程自己进化

论文信息：《DataFoundry: Evolving Data Preparators via Recursive Self-Improvement》，arXiv:2608.29966（2026-08-30，7 位作者），https://arxiv.org/abs/2608.29966

核心问题：领域适配越来越依赖自建高质量训练数据，现有制备管线的通行做法是「先生成、再过滤」——质量控制在产出之后才介入。质量问题的源头常常就在构建过程本身，只对输出做质检，等于在下游修上游的错。

关键发现：DataFoundry 把「数据预处理器」表示成一份可进化的运行时规约，用 Skills-as-Modules 架构落地进化：中央 Controller 编排模块化技能、编译出可执行运行时，在小规模试点集上按领域适配的判据诊断缺陷，再把诊断反馈翻译成 adapter，去修订单个制备组件，接口保持稳定。在 DataPrep-Bench 的数学、金融、法律、医学四个领域上，递归进化出的预处理器产出的训练数据，下游效用高于基线。换不同 backbone 的对照实验显示，收益不绑定某个特定模型。

实践启示：质检要前移到制备流程内部，而不是只做产出过滤。落地时可按「小试点集诊断 → 生成 adapter → 只改组件不改接口」的循环来组织，这样每次进化都能定位到具体是哪个制备环节在掉分，也便于跨模型复用。

3. EDGE：只保留真跑得通的工具调用链

论文信息：《Multi-Step Tool-Calling over Korean Open Public APIs: A Benchmark and a Data-Synthesis Recipe》，arXiv:2609.05395（2026-09-04，5 位作者），https://arxiv.org/abs/2609.05395

核心问题：数据主权法规要求公共机构部署开源、本地化的 LLM 智能体，跨多个政府 API 串起多步工具调用。开源模型在这个多步设定下明显偏弱，此前也没有基准量化这个差距。

关键发现：论文给出 KOPA-Bench，包含 145 个真实任务。配套的 EDGE（Execution-grounded Dynamic Graph for tool-calling data synthEsis）用真实执行来驱动数据合成：先建一张「哪个工具的输出能喂给哪个工具的输入」的图，只对真实 API 调用成功的边保留，再沿这些已验证的边遍历，合成可执行的多步轨迹。用这批数据做 GRPO 微调后，9B 模型接近同系列未经微调的 27B 模型，在 KOPA-Bench 和 BFCL 上都有明显提升。

实践启示：工具调用数据合成的关键约束是「边要验过」。靠模型想象出来的调用链，失败会沿轨迹级联放大；把执行验证前置到构图阶段，只让验证通过的边参与遍历，合成数据的可用率与最终收益都更高。

4. On-Policy Distillation：8 条硬样本顶得上 17K

论文信息：《What Matters in On-Policy Distillation? A Perspective on Data Efficiency and Data Selection》，arXiv:2609.05198（2026-09-04，4 位作者），https://arxiv.org/abs/2609.05198

核心问题：On-Policy Distillation（OPD）已是推理域提升大模型能力的常用后训练范式，其中的数据侧机制仍缺少系统研究：到底哪部分训练数据推动了学生模型的提升。

关键发现：作者从极端设定入手——只用一条样本训练 OPD（1-shot OPD）。结果是 1-shot OPD 在抽样的训练样本上普遍有效，且越难的例子带来的增益往往越大。进一步分析显示，驱动提升的不是高 token 熵，而是难题自然产生的更长 CoT 路径：在更长的推理跨度上训练，能让学生与教师保持更紧的对齐，并学到短 CoT 里缺失的思维模式，例如自我反思（文中举的例子是 “Alternatively”）。据此提出的选样方法只挑难题，连完全超出教师能力的「无解」样本也能用上。在 1.5B 到 7B 的四款模型上，只用 8 条挑出的难题训练，就能达到 17K 数据集基线的水平。

实践启示：OPD 的选样信号应当换成「难题 / 长 CoT」，而非熵值指标。蒸馏数据预算紧张时，先按难度排序再采样，比均匀铺量划算得多；被判定为超出教师能力的样本不必直接丢弃，它们仍有训练价值。

5. Scaling Law：拟合成本可以摊薄

论文信息：《Amortizing Scaling Law Construction Costs》，arXiv:2609.05016（2026-09-04，9 位作者），https://arxiv.org/abs/2609.05016

核心问题：Scaling Law 指导着基础模型的训练设计，拟合一条曲线却要在超参数、token 预算、参数量上跑满一整张网格，算力开销居高不下。

关键发现：拟合 Scaling Law 真正需要的只是跨算力尺度的最优损失前沿，网格里训练出的大部分配置是被丢掉的。论文把数据收集表述成一个贝叶斯优化问题，并给出在算力预算受限时比较不同拟合方法的指标。两个做法效果明显：采集过程中渐进扩大算力预算（与实践中按算力顺序评估配置的做法一致），显著提升了恢复效率；再用代理模型幻构（surrogate-fantasized）的评估结果补全观测配置，把更宽的实验网格重建出来，不必真的训练每个配置。两者结合后，拟合精度能贴近全 dense 网格，按原文给出的区间，算力节省最高 10–100 倍。

实践启示：拟合 Scaling Law 不必先跑满网格。按「渐进扩预算采集 + 幻构补全」来做，中小团队也能在有限算力下拿到可用的曲线；比较不同拟合方法时，应把算力预算作为统一约束写进评测指标。