数据论文速递 · 2026年10月12日
五篇论文覆盖数据链路五个环节：爬取预算分配、轨迹结构筛选、非 IID 数据流的参数吸收、极小语料下的预训练策略反转、以及按分布长尾定义能力评测。
本期五篇论文落在数据链路的五个不同位置：源头怎么爬、爬回来怎么挑、喂进去的顺序怎么排、语料规模变小后策略怎么改、以及评测该看分布的哪一段。它们谈的不是同一件事，但指向同一个判断——数据的组织方式本身就是一个和模型规模同等重要的自变量。
一、Host-Aware Web Crawling for LLM Pretraining Data
论文信息：arXiv:2610.13321，作者 1 人。
核心问题：网页爬取是预训练语料的主要来源，而下游筛选管线会丢掉爬取页面的很大一部分。这篇论文把问题往前推了一步：与其爬完再筛，不如在爬取阶段就把有限的抓取预算分配好。预算怎么在主机之间分、在单个主机内部又该挖多深，是这里要回答的两个问题。
关键发现：把文档级质量分类器分数、网络图中心性指标和 Common Crawl 的每主机覆盖率放在一起看，分类器分数里约一半的变异发生在主机之间，而不是主机内部。一个主机上抓几页，就足以估计它剩下页面的水平。Common Crawl 目前用调和中心性引导爬取分配，但在模拟里，用中心性决定”先爬哪些主机”相比随机排序收益有限，对某些分类器反而更差。真正有用的是另一个维度：先采样少数几页，再对采样分数高的主机加大深度，每次抓取拿到的优质页面数是均匀深度或按中心性分配的数倍。论文还指出，Common Crawl 实际观测到的每主机覆盖率与这些质量信号几乎不相关；粗估下来，每一轮爬取里已知但未抓取的 URL 中仍有数千万优质页面没被拿到，其中大部分集中在少数主机上。
实践启示：把”挑哪些域名”和”每个域名挖多深”拆成两个决策，比用单一中心性分数统管更划算。低成本的先验采样足以支撑深度分配，不必依赖全局图指标。每主机覆盖率不是一个可以拿来判断语料优劣的代理量。
二、Quality, Not Just Outcome: Selecting Coding-Agent Trajectories for SFT
论文信息：arXiv:2610.13152，作者 7 人。
核心问题：开源代码智能体通常在”最终补丁通过测试套件”的交互轨迹上做监督微调。这个只看结果的过滤条件忽略了过程质量：一条最终成功的轨迹里，照样塞得下反复打开同一批文件、工具调用不稳定、改动发生得太晚这类低效模式，而这些都会被模型当成模仿对象学进去。
关键发现：论文提出 TQS（Trajectory Quality Score），一套直接作用在轨迹结构上的打分框架，不需要 LLM 裁判，线性时间跑完。它用三类结构信号刻画轨迹——信息聚焦、意图与动作的一致性、策略动态——并把三者组织在”结构化收敛”这一条主线下。作者从一个公开开放许可语料里取出 155,144 条成功轨迹，按 TQS 排序后取子集微调。在 SWE-Bench-Verified 上，用排名靠前轨迹训练出来的模型稳定超过用随机子集或排名靠后子集训练的结果。
实践启示：结果正确性只是入场券，过程结构才是区分度所在。在做代码智能体的 SFT 数据时，把”通过测试”之外的结构指标加进过滤条件，成本远低于请 LLM 当裁判，且可线性扩展到十万条量级。反复读取、动作摇摆这类模式值得单独设成负向信号。
三、Task Vector Descent: Learning from Non-IID Batches
论文信息：arXiv:2610.05402，作者 4 人。
核心问题：训练数据来自不同领域、不同用户或不同任务的分布，在时间上出现得不均匀，连续的 minibatch 会被分布聚类，而不是从整体混合里独立采样。这种时间聚集会带来稳定性与可塑性的权衡：向当前分布靠拢能改善当前分布上的表现，却会削掉此前训练过的分布上的表现。
关键发现：这个权衡会随着同一分布暴露时间变长而加剧。作者据此追问：一段同分布序列产生的参数位移（task vector）该整体保留，还是只部分吸收。做法是把 task vector 乘上 λ 再作用到正在继续训练的模型上，并把优化器状态按同一个系数缩放。在持续预训练、从随机初始化开始的预训练、有监督后训练、强化后训练四类场景里，居中的 λ 值常常比 λ=1 的整体整合拿到更好的平均表现，长同分布序列之后尤其明显。在受控数据流和自然形成的适配序列两类持续预训练实验中，task vector 缩放在匹配学习率下都优于整体整合，说明它的收益不是靠调学习率就能复现的。
实践启示：数据流的时间结构值得单独调节，不能只当作噪声。遇到长时间单一来源的数据段，把参数位移打折吸收、并同步缩放优化器状态，是一条比调学习率更有效的干预路径。这条对”分批交付的新增语料”场景尤其直接。
四、Tiny-Scale Chinese BERT Pretraining: MLM、WWM 与 MacBERT 的受控比较
论文信息：arXiv:2610.08879，作者 1 人。
核心问题：MLM、全词掩码和 MacBERT 式替换这三种策略的比较，此前集中在 1.1 亿参数以上的 base 规模。语料和词表资源都被压缩之后，这些结论还成不成立，此前没人量过。
关键发现：作者在 4 层、256 隐维、8.7M 参数的极小规模中文 BERT 上做了受控比较——架构相同、语料相同（中文维基 129 万句）、超参相同，从零训三个模型，在困惑度、MLM 命中率、语义判别、语法判断、上下文敏感五个内在维度上评测。小尺度下的排序是 MLM 优于 WWM、再远优于 MacBERT，与 base 尺度下 MacBERT 优于 WWM 优于 MLM 的既有结论正好反过来。MLM 在五个维度里赢下三个；WWM 在困惑度（1.27 对 2.10，改善 39.5%）和 MLM 命中率（22% 对 16%）两项上占优；MacBERT 因为同义词词典只有 222 条、覆盖率 3.3%，困惑度退化到 47.23，比 MLM 高出 22 倍。论文还给出一个评测陷阱：MacBERT 的训练损失最低（2.17），困惑度却最高（47.23）。
实践启示：策略选择是规模与资源条件的函数，不能从大模型的结论外推。替换类策略对同义词词典规模的依赖比直觉更陡，小语种、小语料场景下要先把词表资源补齐再谈策略。训练损失在混合替换策略下不可信，验收指标要换成困惑度这类可直接比较的量。
五、Evaluating LLM Creativity through Long-Tail Performance
论文信息：arXiv:2610.12998，作者 4 人。
核心问题：创造力的评测基准在任务设计和指标设计上差异很大，它们到底测的是不是同一个东西，一直没有定论。这篇论文提出，这个共同目标可以形式化为”参考输入输出分布长尾上的任务表现”——也就是看输入输出对相对于某个文本来源有多常见。
关键发现：作者把这个命题建立在”新颖性 × 质量”的乘积形式上，并在 15 个基准、26 个开源权重模型上做实证，用 n-gram 是否出现在预训练数据中作为新颖性的代理。创造力基准确实比标准基准更靠向尾部区域；在创造力与标准两类基准上，取每个基准更靠尾部的子集得到的模型排序，与 LM-Arena 上的人类创造力判断吻合得更好。据此提出的 q@Tail(α) 是一个成本更低的创造力诊断量：在已有基准的尾部比例上测平均任务质量。用它去测那些标称提升创造力的方法，尾部表现上留出的改进空间很大。
实践启示：创造力评测不必从头造基准，把现有基准按长尾程度切开重排就够了，还能顺带避开预训练语料污染。用”n-gram 是否出现在预训练数据里”作新颖性代理，是一条便宜且可复现的口径，值得在自建评测里照搬。
小结
五篇论文合起来画出的线是：数据工作的重心正从”拿到更多”转向”分配得更准”。爬取阶段就有可分配的预算（2610.13321），轨迹筛选不必依赖昂贵裁判（2610.13152），数据流的先后顺序本身是可调参数（2610.05402），而策略结论会随语料规模翻转（2610.08879）。评测端也在同步收紧——用分布位置而不是平均分来定义能力（2610.12998）。