数据论文速递 · 2026年09月09日

本期概览

本期五篇沿一条数据流水线排开：领域语料该去哪儿抓、合成轨迹的参数从哪来、偏好数据按什么信号筛、多语指令数据怎么验出翻译损坏、超参 Scaling Law 怎么用十分之一算力拟合。五篇里有四篇在回答同一个问题——不是「数据够不够多」，而是「哪一部分数据真正起作用，以及怎么证明它起作用」。

1. Data Scout：不过滤存档，直接定向抓

论文信息：《Data Scout: Targeted Web Crawling for Domain-Specific Pretraining Corpora》，arXiv:2609.05766（2026-09-04，6 位作者），https://arxiv.org/abs/2609.05766

核心问题：构建领域预训练语料的主流做法是过滤 CommonCrawl 这类通用网页存档。热门领域这样干没问题，专业领域就崩了——相关内容稀疏，而且常常落在流行度驱动的爬虫够不着的地方，过滤再狠也滤不出来。

关键发现：Data Scout 把这个流程反过来，不去过滤存档，而是指挥一次定向抓取。LLM 先把根话题展开成一份分类体系和数千条检索 query；返回的 URL 作为种子按子域名分组，用用户自备的分类器（称为 probe）对每个子域名抽样筛查后决定是否收录。这套做法成立的前提是相关性在子域名层面存在锐利边界：在数学领域，某个页面相关的概率是兄弟子域名页面的 21 倍。用 FineMath 分类器当 probe，抓下来的页面里 21.9% 是高质量数学内容，是过滤同等网页样本 0.31% 命中率的 70 倍，抓取的无效功大幅减少。收益不只在效率：这些页面中有 63.2% 完全不在 CommonCrawl 里，训练价值却不相上下。Llama-3.2-3B 在 1.9B Data Scout token 上做继续预训练，GSM8k 与 FineMath 语料打平。

实践启示：probe 是整套方法里唯一与领域绑定的组件，换一个分类器就能迁到别的领域，工程复用成本低。做垂直领域数据时，值得把「定向抓取」当成与「存档过滤」并列的一条路线来评估，尤其在小众领域和抓取预算受限的场景。63.2% 不在 CommonCrawl 这个数字还有一层含义：做语料去重与覆盖度评估时，不能默认 CommonCrawl 就是全集，否则会把一批有效语料当成重复或噪声误杀。

2. SAP：给合成数据的每个参数标上出处

论文信息：《SAP: State-Guided Data Synthesis with Argument Provenance for Multi-Turn Tool Use》，arXiv:2609.06124（2026-09-05，5 位作者，EMNLP 2026 已录用），https://arxiv.org/abs/2609.06124

核心问题：多轮工具调用数据的质量直接决定智能体模型的上限，现有合成方法对参数级依赖的表示不足。后果是模型即便选对了工具，任务照样失败——它把工具参数填成了编造的、过时的、或者依据很弱的值。

关键发现：作者提出 SAP（State-Guided Data Synthesis with Argument Provenance），把状态引导、工具参数溯源约束、轮次级验证三者结合，构造带长程依赖且准确率高的工具调用轨迹。用 SAP 生成的数据训练出的 SAP-4B，在多个基准上与体量大得多的模型相比仍有竞争力。代码、合成数据与训练权重已开源在 github.com/Zichen1024/SAP。

实践启示：工具调用数据的校验点要从「工具选对了吗」下移到「参数从哪来」。给每条参数标一条可回溯的 provenance，是把「编造值」这类隐蔽错误从数据里挖出来的低成本办法，也可以直接搬到现有数据管线里当质检字段——凡是溯源不到上下文的参数，落库前就该拦下。

3. AlignDiff：用模型自己的信号选偏好数据

论文信息：《AlignDiff: Exploiting Model-Intrinsic Information for Better Preference Data Selection》，arXiv:2609.05899（2026-09-05，9 位作者），https://arxiv.org/abs/2609.05899

核心问题：偏好数据的质量决定了对齐效果，公开数据集普遍带噪声、且与目标分布存在偏移，这两点把模型性能钉在了天花板下面。

关键发现：AlignDiff 用模型内在信号驱动过滤，不依赖外部奖励模型。它先用正向信号与逆向信号一起识别偏好明确的样本，再按平均负对数似然间隔（average NLL gap）给样本排难度，优先保留更难的那些，让模型从中学到更多。评测覆盖 LLaMA 与 Qwen 两个模型族，以及 AlpacaEval 2.0、Arena-Hard、MT-Bench 三个对齐社区常用基准，所有设定下都稳定超过 7 个强基线。消融实验支撑了各模块的有效性，作者还验证了按难度组织课程学习能进一步提升表现。

实践启示：不训练额外奖励模型就能做偏好数据筛选，意味着这套过滤可以直接嵌进现有对齐管线，边际成本很低。难度维度还有第二层用途：按 NLL gap 排序后的课程学习是可复用的配比手段，做数据配比时不妨把「难度」当成一个显式维度，而不只是用来做过滤阈值。

4. EuroAlpaca：机翻涨了 ROUGE，却跌了 29.8% 准确率

论文信息：《EuroAlpaca: Task-Preserving Localisation of Instruction Data for European Languages》，arXiv:2609.05043（2026-09-04，3 位作者），https://arxiv.org/abs/2609.05043

核心问题：机器翻译是把英文指令数据扩展到多语言的可扩展路径，代价是它会扭曲任务关键约束与要求输出格式，产出损坏的训练样本，用这类数据训练出来的模型反而更差。

关键发现：论文给出 EuroAlpaca——一套保任务的本地化流水线，产出覆盖 50 种欧洲语言及地区变体的近似平行资源，并配套 European-IFEval 这个可验证的多语指令遵循基准。流水线逐例决策：要么做逐字段翻译并保留任务关键内容，要么重建一个任务等价的目标语言实例；翻译之后还要校验跨字段一致性与目标语言一致性。在 4 个 LLM 上的 LoRA 实验给出了一个反直觉的对照——直接在机翻数据上训练，Aya Evaluation Suite 的 ROUGE-L 与 F-BERT 都涨了，European-IFEval 准确率却比未适配基线下降 29.8%；换成 EuroAlpaca 适配后，准确率比同一基线提升 12.9%，把机翻造成的下滑反转了回来，Aya 上的 ROUGE-L 与 F-BERT 也一并拿到最高分。

实践启示：这一组数字是给多语数据质检的警告——只看生成类指标会漏掉翻译损坏，ROUGE-L 上涨与约束遵循下降 29.8% 完全可能同时发生。多语指令数据的验收标准里必须包含「可验证约束」类指标，也就是能程序化判对错的任务，否则数据看着变好了、模型其实变弱了。

5. PLES：估计 Scaling Law 本身才是优化目标

论文信息：《Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search》，arXiv:2609.01431（2026-09-01，7 位作者），https://arxiv.org/abs/2609.01431

核心问题：最优超参 Scaling Law 描述 LLM 训练的最优超参随模型规模与数据规模如何变化，有了它就能预测生产规模下的配置，省掉大规模调参。估计这条曲线的传统做法是跑满一张覆盖数千次训练的网格，算力开销惊人。

关键发现：论文提出 PLES（Power-Law Entropy Search），一个基于多保真贝叶斯优化、带计算成本感知的采集函数。关键设计在于它优化的目标不是某个单一目标函数，而是降低 Scaling Law 估计的整体不确定性——每一轮都挑「单位计算成本下能最大幅度压低 Scaling Law 估计不确定性」的配置，天然偏向信息量高的小规模实验。评测覆盖合成基准、拟合真实 LLM 训练数据的代理模型、以及真实 LLM 预训练跑三类设定，PLES 都能收敛到准确的最优超参 Scaling Law，所用算力不到网格搜索与其他基线的十分之一。

实践启示：把「估计准一条曲线」而不是「找到最优点」设成采集目标，是这个思路最值钱的地方，做实验设计时值得照搬。落地含义很直接：往大规模堆数据之前，先用一批小规模实验把超参 Scaling Law 探清楚，省下的算力在一个数量级上。成本感知这条也不能省——不把单次实验的算力代价放进采集函数，优化器会去啃那些贵但信息量一般的配置。