数据工程观察 · 2026年10月08日

本期五条指向同一个问题：语料总量之外，数据侧还有哪些可调旋钮，每个旋钮的量级有多大。一条给重复 token 定价，把 epoch 数的选择变成一条能按规模外推的曲线；一条证明生产模型的刷新调度里起作用的不是陈旧分数而是预算分配；一条要求智能体轨迹带上生成它的运行时标签再决定去向；一条把多轮工具调用数据的合成成本压到原来的六分之一以下；一条给剪枝换了验收口径，要求子集平均无偏地代表全集平均。五条的结论都不在「继续堆数据」这一侧。

重复一个 token 值多少：多轮预训练的定价曲线

事件概述

预训练越来越依赖重复数据，每轮训练都要回答三件事：取几个 epoch、这个数随模型规模怎么变、除了 epoch 数还有什么在起作用。10 月 8 日上线的一篇工作把重复 token 拿去和两类参照物比价——同数据上的一个 epoch 给出它的价值，等算力下的新鲜数据给出它的成本——并把三件事都归到同一个变量上。

技术细节

成本侧，超额损失在全部规模与预算上服从单一变量 z=(R−1)N_total/U 的幂律，不需要再补一个规模项；网格里 140 个重复配置中 113 个高于 0.002 bits per byte 的分辨率阈值。价值侧，第二个 epoch 的一个 token 值新鲜 token 的 0.87 到 1.02 倍，重复 token 掉到新鲜 token 一半价值的临界点出现在 R_c ≈ 2.7 (D/N)^0.24，这个临界值随每参数训练预算增长，随模型规模几乎不动。

规模趋势的方向取决于固定了什么：固定唯一 token 数时，loss 最低点在 127M 到 2B 参数之间从约 15 个 epoch 移到 4 个 epoch；固定每参数唯一 token 时几乎不移动；固定每参数训练 token 时，更大的模型为重复付出得更少。拟合出的算力最优配置把每参数训练 token 保持在 16 到 22 之间，低于新鲜数据的 25，并在 5.3 个 epoch 处取到最低 loss，此处的 R_c 约为 5.3。

计数本身决定不了 loss。在 59M 到 511M、1B 唯一 CommonCrawl token 的扫描里，把同一个 shard 连续重放最多把留出 loss 抬高 0.46 bits per byte，按 epoch 洗牌的变化小于 0.01 bits per byte；连续重放还几乎抹平了未见减已见的差值。把重复集中在更少样本上也抬高 loss，低熵来源退化得更快，重新分词只在重度重复下有帮助。

对大模型数据工作的影响

epoch 数不再是一个靠手感定的超参，它和唯一 token 数、每参数训练预算绑在一起。更值得注意的是验收口径：未见减已见的差值被连续重放压到接近零，这个差值小并不代表留出 loss 低，拿它当重复无害的凭据会读反。重放顺序这个不花钱的动作值 0.46 bits per byte，量级超过很多清洗步骤。

相关链接

论文摘要与全文：https://arxiv.org/abs/2610.05591 、https://arxiv.org/html/2610.05591v1

训练快照什么时候换：分段差异化刷新

事件概述

生产模型是训练快照的物化视图，从建成的那一刻起就在变旧。常见做法是把固定重训周期换成自适应触发——一个加权陈旧分数，累积风险过阈值就重训。10 月 8 日的一篇工作认为这是错的杠杆，并给出了对的那个。

技术细节

先是一个等价极限：任何「单一共享全局数据年龄的静态严格单调函数」形式的刷新触发器，在操作上等价于一个校准过的统一年龄计时器。一个全局陈旧预算无论怎么给分段、来源、敏感度加权，都带不来时钟之外的调度信息。逃脱的办法是分段差异化刷新，让每段有自己的年龄和刷新间隔，这在刷新成本可跨段分离时才有意义。

解出来的分配问题有闭式：频繁刷新区间内每段最优刷新率正比于它风险的平方根 w_j λ_j，即权重乘变化率。最优策略的成本永不超过统一计时器，两者差距是一个 Cauchy–Schwarz 形式的「统一性代价」，分段均质时为零，随异质性增长。在带真实 Poisson 变化事件的离散事件仿真里，同等刷新预算下最优策略把实际加权陈旧暴露降低 8% 到 29%，在 86% 到 100% 的随机种子上取胜；50% 的乘性变化率估计噪声下优势仍在。

一个反向证据值得单独记：朴素的「每段暴露过阈值就刷新」——也就是最直觉的差异化做法——接近打平或更差，在中度与极端异质性下输给统一计时器。起作用的是分配这个动作，不是「要不要差异化」这个决定。

对大模型数据工作的影响

数据时效这一侧的杠杆是动作而不是分数。在搭建一个基于全局陈旧分数的自适应调度器之前，先检查这个触发器能否看到时钟看不到的东西；真正能改的是把固定刷新预算按风险的平方根分到各段。异质性低的场景里统一计时器已经最优，差异化不带来任何收益。

相关链接

论文摘要与全文：https://arxiv.org/abs/2610.09519 、https://arxiv.org/html/2610.09519v1

轨迹数据的来源要对齐运行时：CoTrace

事件概述

终端智能体的能力由模型权重和运行时脚手架共同决定，脚手架负责格式化 prompt、绑定工具、处理错误恢复。已有的脚手架与模型共同进化方法把搜索过程中产生的轨迹当成无差别的回放缓冲。10 月 8 日的一篇工作指出，一条轨迹对模型训练的价值取决于生成它时用的是哪个脚手架。

技术细节

作者搭了一个交替共同进化框架，用逐组件晋升决策把脚手架搜索和策略训练拆开。在这个框架里，CoTrace 作为脚手架感知的数据配方，管三件事：轨迹路由、来源匹配、课程刷新。反复出现的执行失败去指导脚手架合成；策略训练严格以两类数据为条件——与已采用运行时匹配的已验证 rollout 用于监督微调，新鲜的在线交互用于强化学习。

在 Tmax 晋升切分上，CoTrace 把 Qwen3.5-9B 的解出任务数从 78 推到 88，在线强化学习变体到 90。一个紧凑的、与脚手架匹配的语料，比跨兄弟脚手架池化起来的更大语料算力低得多，模型增益也更稳。任务分工表写得很清楚：每轮 50 个进化任务供脚手架搜索与语料采集优化，不超过 100 个强化学习训练任务用于在线 rollout，102 个晋升任务不参与任何优化、只用于报告数字，Terminal-Bench 2.1 的 89 个任务仅用于迁移报告；任务池来自约 2200 条可执行终端任务分类。

分布外迁移在 Terminal-Bench 2.1 与 SWE-bench Lite 上取决于脚手架兼容性，训练与评测运行时保持一致可以避免在异质脚手架下出现的程序性执行崩溃。

对大模型数据工作的影响

智能体训练数据的元数据里要留一项「由哪个运行时产出」，路由与匹配都按它来做，跨脚手架池化会把语料做大也把算力浪费掉。晋升切分与搜索、采集、训练三者严格隔离的做法同样值得照搬——四个角色被哪些环节优化过，表里逐行标了出来。

相关链接

论文摘要与全文：https://arxiv.org/abs/2610.10426 、https://arxiv.org/html/2610.10426v1

合成多轮工具调用数据：先定状态机，再定分布

事件概述

小模型便宜、能跑在私有基础设施上，但基座模型的多轮工具调用往往不够好，微调又需要按 API 定制的数据，这类数据通常不存在。已有的合成方法要么需要为每个域搭 mock 运行环境，要么每生成一个对话轮次就要多次调用大模型。10 月 8 日的一篇工作把这两项成本都砍掉了。

技术细节

做法是把每个 API 建模成有限状态机：系统抽象状态决定每个工具在什么条件下可以被调用，由此产出状态合法的工具序列，再把序列翻译成完整样例，整条轨迹只消耗一次大模型调用。作者没有把多样性当优化目标，而是在轮数、工具序列、任务复杂度上设定目标分布，按分布采样。

评测用 Berkeley Function Calling Leaderboard v4，按 API 域切分，每个域的种子集与测试集对半分。未微调的小模型在这个多轮类别上基本崩掉：Llama-3.2-3B-Instruct 为 4.0%，Qwen3-1.7B 为 11.0%；前沿模型也不宽裕，Gemini-3-Pro 为 61%，GPT-5.2 为 44%。用状态机采样的数据训练出的学生模型拿到 70.7% 的完整准确率，对比 ToolFlow 的 63.4% 与 APIGen-MT 的 53.7%，所用 token 少 3.6 到 6.6 倍。

对大模型数据工作的影响

合成流水线里，结构合法性与目标分布是两件分开的事：前者可以用状态机这类确定性构造免费拿到，后者才需要花钱采样。把多样性当优化目标会让成本落在最贵的环节上，换成对轮数、序列、复杂度设分布，同样的预算能覆盖的样本量差出一个数量级。每个域单独训练和报告的做法也避免了跨 API 平均掩盖个别域的失败。

相关链接

论文摘要与全文：https://arxiv.org/abs/2610.07070 、https://arxiv.org/html/2610.07070v1

剪枝的验收口径换成无偏性：方差最小化的顶点游走

事件概述

数据集剪枝要把大训练集缩成一个有代表性的子集而保住模型表现。已有的几何方法通常预设嵌入空间里相邻的点性质相近。10 月 8 日的一篇工作不预设这一点，改从无偏子集选择出发推导几何准则。

技术细节

无偏性的要求是：未加权的子集平均在期望上恢复全量数据的平均，这个平均包括固定模型参数下的 loss 与梯度。作者把一族无偏子集选择算法刻画成一个高维多面体，在多面体上最小化期望采样方差是一个线性目标；采样方差的差异在刚体运动上平均之后有闭式的成对表达。多面体维度太高，直接上标准线性规划不现实，于是用这些闭式表达构造一个顶点游走来优化方差目标的近似，全程保住无偏性，选样阶段既不要标签也不要训模型。

在 CIFAR-10、MNIST、CelebA、IMDb 上，选择比例从 0.005 到 0.3，对比均匀采样、herding、k-center greedy。小预算上差距明显：CIFAR-10 取 0.5% 时该方法 31.30，均匀采样 30.63，k-center greedy 28.95，herding 24.65；MNIST 取 0.5% 时该方法 88.44，herding 64.25；IMDb 取 0.5% 时该方法 92.44，均匀采样 92.03，k-center greedy 84.76。预算放宽到 0.3，各方法挤在一起，CIFAR-10 上 k-center greedy 的 91.03 反超该方法的 90.59——这一条论文正文没有回避。

同一套框架还能在不改 batch size 的前提下降低随机梯度方差：第 2、9、16、23、30 个 epoch 分别降 14.85%、12.80%、9.20%、4.32%、0.78%，收益随训练推进收敛而衰减。局限也写明了：只接受改进交换，固定迭代预算无最优性保证，预计算成对分数是二次代价，逆距离代理不保证降低真实方差；herding 的对比用的是修正版实现，因为 DeepCore 原版有 bug。

对大模型数据工作的影响

剪枝的验收口径可以从下游精度往回退一步，先问子集平均是否无偏地代表全集平均——包括梯度和 loss 的平均。这条口径不需要标签也不需要训模型，能在选样阶段当场算，适合做大数据集上的前置闸门。小预算区的收益最明显，预算宽裕时各方法趋同，此时剪枝本身已不是瓶颈。

相关链接

论文摘要与全文：https://arxiv.org/abs/2610.10347 、https://arxiv.org/html/2610.10347v1