数据工程观察 · 2026年10月11日

本期五条都指向同一个问题：数据环节的预算怎么分，分完之后凭什么说够了。合成监控数据该按广度买还是按深度买、分词器容量该往低资源语言多分还是少分、标注契约该留在提示词里还是压进权重、ISO 的数据质量指标到底能不能跑起来、剪到百分之五之后用什么口径验收。五个场景各给出一组能复核的数字，结论大多跟直觉相反。

一、合成探针数据：决定样本量的是覆盖度，不是难度

事件概述

激活探针普遍用合成对话训练，而「生成多少条才够」此前靠经验拍。这项工作把 10 到 590 条的学习曲线逐一跑出来，覆盖三个监控概念（高风险场景、对人有害的回复、是否遵循指令）、14 个留出评测分布（6,462 条对话）与四个探针模型，回答预算该往广度还是深度上投。

技术细节

作者把某个概念需要的「深度」定义为拟合曲线的半增益规模，即拿到一半增益所需的样本数。探针结构、生成模型、提示词结构、评测协议全部固定，只变动概念、生成器与提示词详细程度。在 Gemma-3-27B-IT 第 32 层上，高风险与有害两类从 80 条起就离平台期只差零点零几，指令遵循需要数倍于此。方差分解显示概念与分布解释了 42% 到 45%，生成器、探针模型、提示词详细程度三项合计不到 10%。按分布逐条算，每一类对话在三个概念下的中位半增益规模都是 7 到 11 条同类合成样本，三者本身学得一样快；真正拉开差距的是跨类迁移——高风险下一类几乎覆盖其余各类，有害次之，指令遵循几乎互不覆盖。论文表 7 给出 14 个切分的拟合上界 U 与半增益 m 的范围，其中高风险类在针对性生成集上低至 10，有害类的 AI-Dilemmas 切分达到 178。代码与生成数据按实验分支发布，评测与开发集的激活值做内容寻址缓存并公开，拟合探针头时不再调用任何大语言模型。

对大模型数据工作的影响

合成数据的采购原则要换。广度优先不是通用解，它取决于被监控概念内部各类之间能否互相覆盖：能覆盖的概念下堆种类近乎冗余，互不覆盖的概念下不铺开种类就补不回来。自家合成管线做预算时，可以先拟合一条小规模学习曲线，用半增益规模反推采购量，替掉按经验倍数往上加的做法。论文也给出失效边界：ToolACE 与 Ant-HH 上的曲线被标签审计所设的天花板压平，半增益规模无法确定。

相关链接：https://arxiv.org/abs/2610.10594、https://github.com/Ankush7890/sythentic_data_needs

二、分词器容量分配：给低资源语言多分份额，反而更贵

事件概述

分词器训练数据的语言配比长期默认「多给低资源语言一些容量有帮助」。这项研究训练了 123 个语言模型、覆盖 54 个分词器，架构、训练语料、token 预算与优化全部固定，模型之间只差分词器，把这条默认假设放到受控条件下检验。

技术细节

每个分词器配一个 1.27B 参数模型（nanochat d24 配置），训练 9.2B token。跨 54 个分词器，一门语言的 bits-per-byte 标准差随它在模型训练数据中占比下降而上升，Spearman 相关系数在 31 门受训语言上是 −0.52，在 28 门带词边界的语言上是 −0.69。把一门语言从分词器训练数据里剔除，它在每一门受测语言上的 BPB 都升高，且训练数据越少升幅越大。反直觉的部分在这里：等权分配与「按模型训练数据份额反向分配」两种做法都抬高了低资源语言的 BPB，模型训练重复数据时更明显。表 6 中，等权（GPT-4o 预分词）相对均衡基线的 31 语言 FLORES+ 均值差为 +0.0107，权重最小的 15 门语言均值差 +0.0177，语言自身变化与其权重的相关系数 −0.61 且显著；换成 Claude 预分词是 +0.0064、+0.0162、−0.52；只改文件采样上限的对照组是 −0.0035、−0.0039、+0.17，排除了采样假象。作者还给出一个更硬的结论：分词器训练语料覆盖了某门语言、而语言模型训练数据里根本没有这门语言时，这门语言的 BPB 反而升高，183 门语言上的均值差达 +0.20 到 +0.42——覆盖只在模型真的训到这门语言时才压低 BPB。

对大模型数据工作的影响

分词器的容量分配不能脱离模型训练语料的语言占比单独优化。想靠改分词器训练配比补偿低资源语言，先要确认语言模型训练侧真的有对应文本，并把重复数据带来的混淆隔离掉。论文另给一条省算力的路径：压缩率、fertility 等内生指标可以预测模型两两之间的 BPB 排序，开训前就能筛分词器候选，不必每个都训到 9.2B token。

相关链接：https://arxiv.org/abs/2610.12144、https://arxiv.org/html/2610.12144v1

三、语法概念标注：把标注契约压进权重，服务成本降到十六分之一

事件概述

一家在线教育平台把「语法概念标注」从提示前沿模型改成微调小模型上线，端到端跑通并给出线上实验数据。任务是从学习者与教师的课堂转写里抽出语法概念、证据片段、用法是否正确以及纠错解释。

技术细节

标注契约是四字段输出（34 类概念枚举、证据 span、是否正确、解释），输入为 ASR 转写的学习者原句与上游模型改写后的正确句。教师产出的监督数据不直接用，而是过滤加重采样：从质量过滤后的生产标注中抽取「概念—正确性骨架」，再按三种 30k 子集分层采样——均匀采样、错误加权采样、平滑逆概念频率采样——用 0.05 的概率往正确槽位注入教学性错误（概念内误用、遗漏、易混结构替换），交给 GPT-5.4 落成学习者口吻的句子、span 与解释，最后做确定性校验，强制 span 为子串且标签对齐。训练用 completion-only LoRA，概念定义与抽取边界被压进权重，推理提示词从 3,810 token 缩到 375 token，降幅 90.2%。评测集由两人独立标注、第三人裁决：Golden 689 条、含错率 50.1%，Golden2 2,977 条、含错率 95.6%。相对原始教师监督，整条流水线在最严格的 L3 召回上带来 36.9 到 40.7 个点；部署的 0.8B 模型与 4B 对照模型在概念、证据 span、正确性三级匹配严格度上的精确率与召回都超过提示的 GPT-5.4 与 GPT-5.6 Sol。按 SageMaker g6.2xlarge 公开价与实测吞吐折算，服务成本降到基线的 6.2%，约 16 倍。线上 A/B 显示学习参与度 +15.8%、排课时长 +2.1%、新课 GMV +13.2%。

对大模型数据工作的影响

标注环节的成本大头是重复调用前沿模型。把标注契约内化进小模型权重、把运行时提示词压到只剩 schema 与格式约束，是可以直接折算成钱的降本路径，骨架采样加确定性校验也把长尾概念的覆盖问题变成了可调度的问题。作者给出的边界同样要记：流水线是整体对比未逐项消融，每个配置只跑一次训练、没有跨种子方差，成本模型只算周期性检测算力，不含上游转写与回退调用。

相关链接：https://arxiv.org/abs/2610.10827、https://arxiv.org/html/2610.10827v1

四、数据质量指标：把 ISO 标准里没说清的部分实现出来

事件概述

ISO/IEC 25024 与 5259 为每个数据质量维度定义了指标，却没说明怎么实现。例如语法准确性要求统计「语法正确的值」，但一个值算不算语法正确，标准不回答。结果是实际的数据质量工具只做缺失值、取值范围这类底层校验，与标准维度对不上。

技术细节

作者把两个标准中全部数据级指标分成三类：其一是不需要数据之外任何输入的泛化型指标；其二是参数可从干净参考数据学习或由专家设定的参数化指标；其三是需要定性判断、无法自动化的不可泛化型指标。对前两类逐条给出实现指南，落实为开源库 dqmeasure 中的 20 个指标，参数从参考数据学得而非依赖人工规则。实验在真实与合成数据集上注入数量递增的错误，指标分数随之单调下降，并与下游机器学习表现同步下降，计算开销随行数线性伸缩。

对大模型数据工作的影响

给训练数据做质量门禁时，一个笼统的「质量分」往往说不清它量的是哪个维度。把标准指标逐条可执行化、并给出参数学习方式的做法，更适合作为语料入库前的常驻检查项，也便于在语料版本之间做同一口径的横向对比。第三类指标的存在本身是一条提醒：哪些维度不该指望自动化，需要保留人工判断位。

相关链接：https://arxiv.org/abs/2610.10919、https://github.com/calgo-lab/dqmeasure

五、代码检索器剪枝：百分之五的数据，以及剪枝器的自适应角色

事件概述

代码检索器要在持续演化的代码仓库上微调，全量语料微调成本高，噪声与冗余还会带来负迁移。MAP4CS 用多维剪枝挑出核心子集，把训练数据量压到约 5%。

技术细节

打分融合句法结构、语义多样性与分布表示三个维度，之后接规则过滤保证唯一性与工程质量。评测覆盖 CSN-Java（原始开源仓库）与 Query4Code（经大语言模型优化的查询）两类语料，加 CodeSearchNet 与合成 Text2SQL，合计七种语言，编码器用 UniXcoder 与 GTE-base。以 GTE-base 在 Query4Code 训练集上的消融为例：随机采样 5% 平均 0.144，仅做聚类 0.152，完整 MAP4CS 0.161；在最难的 APPS 子集上三者分别是 0.012、0.018、0.027，差距成倍放大。PCA 加核密度估计的可视化显示，随机采样子集在高维空间里发散且带离群点，剪枝子集集中在高密度核心区。作者还给出一个观察：同一套流程在冗余语料上表现为去重器，在混乱语料上表现为去噪器，角色随输入语料切换。

对大模型数据工作的影响

剪枝比例之外，剪枝维度才是决定项——多样性阶段与簇内质量过滤阶段各有贡献，越难的任务上两阶段叠加的收益越明显。这条结论对检索器之外的微调数据筛选同样适用：先保证覆盖，再在覆盖到的每一簇里做质量过滤。论文的边界是只验证到编码器类检索器，尚未扩展到 decoder-only 大模型与迭代式剪枝。

相关链接：https://arxiv.org/abs/2610.11727、https://arxiv.org/html/2610.11727v1