数据工程观察 · Vol.126

数据工程观察 · 2026年09月21日

本期五条动态：工具调用语料切换与更换训练方法的同量级对照、具身训练把配比控制下沉到任务×难度分层队列、分词器搜索过程而非优化目标支配 bits-per-byte、语料发布的数据集级属性泄露防护 QuanText、破产公司运营数据进入训练集带来的合规边界。

数据工程 预训练数据 数据配比 数据清洗 数据去重 数据合成 数据标注 数据治理 分词器 数据集 数据隐私 工具调用 具身智能 Scaling Laws

本期五条集中在同一个问题：训练数据里哪些变量真正支配结果。前两条给出受控对照下的量化答案——工具调用语料的切换幅度与更换训练方法同量级，具身训练则把配比控制下沉到每一轮迭代的样本构成。后三条分别涉及分词器搜索方向对 bits-per-byte 的影响、语料发布时容易被忽略的数据集级属性泄露，以及破产公司运营数据进入训练集带来的合规边界。

换语料与换训练方法，是同一量级的变量

事件概述

arXiv 2609.17848 做了一次三轴受控对照：训练语料、适配方法、模型规模。语料侧取 xLAM/APIGen-60k、ToolACE、Glaive-FC-v2 三个公开工具调用数据集加一份均匀混合；方法侧取 LoRA 微调（SFT）、GRPO 强化学习、以及先 SFT 后 GRPO；模型侧覆盖 Qwen3 的 0.6B 到 32B 共六档，评测兼顾分布内表现与跨数据集迁移。

技术细节

三个语料在清洗后的规模分别是 56,443、9,715、46,204 条，结构差异远大于规模差异。近重复删除比例依次为 3.5%、0.9%、58.5%；多轮占比 0.0%、4.5%、92.6%；并行调用占比 54.2%、17.2%、0.0%；无调用或拒答占比 0.0%、56.1%、73.3%；平均每条调用数 1.69、0.79、0.34。结果层面，SFT 配 LoRA 在 0.6B–32B 全程是最强的分布内方法，18 个设置里 15 个最优。跨数据集迁移的差距要小得多：GRPO 在 54 个训练/测试不同源的设置里赢 29 个，SFT 赢 19 个，SFT→GRPO 只赢 6 个，且 GRPO 相对 SFT 的平均优势不足 1 分。训练语料的选择把分布内准确率拉开最多 55 个点。均匀混合在分布内接近最优单语料，迁移上又是第一。

对大模型数据工作的影响

这份对照把优先级排清楚了：去重率、拒答占比、多轮比例这些可枚举的数据侧变量，先决定效果上限，方法选择在其之后。Glaive 有 58.5% 的样本在近重复去重环节被剔除，这类结构性差异远比”数据量”值得写进数据卡。预算固定时把数据对半拆给 SFT 与 GRPO 不划算，混合语料是更稳的迁移默认。LoRA 优于全参数微调的结论也提示：保留预训练期已有的调用行为，比用全量数据重写一遍更值。

相关链接

具身训练把数据策展做成任务 × 难度的分层队列

事件概述

arXiv 2609.19659 的 EmbodiedMind 以 Qwen3-VL-8B 为基座，用 RSFT、IR-GRPO、Trie-GRPO 三段式流程，在 18 个 benchmark 上拿到 70.02% 的平均成绩。论文对数据效率的论证是显式的：作者把 RoboBrain 2.5 需要 1200 万条轨迹与 512 张 GPU 作为对照，主张靠策展策略而非堆量来平衡能力。

技术细节

训练语料按 11 类能力组织，含通用多模态、空间关系、跨视角关联、计数与目标定位、距离与尺寸估计、目标与可供性推理等。第一阶段 RSFT 用拒绝采样剔掉低信息量样本，建立行为先验并避免分布坍缩。第二阶段 IR-GRPO 维护任务专属的 FIFO 队列，按每轮迭代的模型准确率估计样本难度并动态分层，再跨任务类型与难度档组装平衡的 minibatch。论文点名 DAPO 一类动态采样只过滤零优势样本、缺少任务级校准，会过度丢弃简单任务并系统性忽略困难任务，导致能力此消彼长的跷跷板。第三阶段 Trie-GRPO 用动作前缀树做步级优势估计，把中间正确决策从下游错误中隔离出来。

对大模型数据工作的影响

配比控制的位置被挪到了每一轮迭代的 minibatch 构成上，一次性算好的全局采样权重不足以应对多任务梯度不平衡。难度分层依赖当前模型准确率的滚动估计，意味着数据管线与训练循环要打通，不能离线跑完就固定。这套思路对通用后训练同样成立：任务类别多、难度分布长尾时，先建队列再分层抽样，比按静态比例混数据更能压住跷跷板。

相关链接

分词器：支配 bits-per-byte 的是搜索过程，不是优化目标

事件概述

arXiv 2609.19145 指出 BPE 与 UnigramLM 的差异混淆了两个正交维度：优化目标（压缩率 vs 对数似然）与搜索过程（自底向上合并 vs 自顶向下剪枝）。作者补出 BottomUpLL 与 TopDownComp 两个新分词器，凑齐 2×2 设计，训练语言模型比较 bits-per-byte 与 BLiMP 最小对准确率。

技术细节

英语 128k 词表的 1B 模型上，BPB 排序是 BPE 0.7790±0.0004、BottomUpLL 0.7803±0.0026、TopDownComp 0.7816±0.0003、UnigramLM 0.7872±0.0001，自底向上的两个都在前面。中文分语种差距最大：BPE 1.2464 对 UnigramLM 1.3575，差出 0.11。全部实验条件里唯一的例外是英语 300M 模型 32k 词表档，TopDownComp 以 0.0003 BPB 微弱反超 BPE；似然目标那一对（BottomUpLL 对 UnigramLM）在每个设置里都是自底向上占优。词表变小后目标重新起作用，似然目标占优。换成 BLiMP 最小对准确率则没有一致次序，英语设置里自顶向下常常更好，德语、西班牙语、土耳其语的结果也提示形态丰富语言更适合自顶向下。作者声明规模上限是 1B，多语言只覆盖英、德、西、土、中五种语言。

对大模型数据工作的影响

选分词器时先定搜索方向，再调目标，顺序反了会浪费词表预算。评估口径也要拆开：压缩率好看不等于下游语法判断更好，跨语言语料尤其要看分语种的 BPB，中文上的 0.11 差距会直接折算成训练 token 数。多语言项目按目标语言分别验分词器，比统一用一个”通用”词表更可控。

相关链接

语料发布前要防的第二类泄露：数据集级属性

事件概述

arXiv 2609.17995 提出 QuanText，一种免训练、不绑定具体大模型的文本发布机制，保护对象不是单条记录，而是语料整体的敏感属性，例如某诊断、某性别、某政治立场样本的占比。现有工作大多聚焦属性推断攻击，防御侧手段有限；差分隐私对单条记录有效，对聚合属性保护偏弱。

技术细节

流程分三步：在秘密属性与需保留效用的属性（如主题、情感）上构造一组候选发布分布；随机挑出一个与私有经验分布足够接近的候选；用原文里与属性相关的片段重写每条样本，使其匹配选中的分布。理论保证基于 Statistic Maximal Leakage（SML），在最坏数据先验下约束指定全局秘密的泄露，对任意攻击策略稳健，且对后处理稳健——按 SML 保证发布的数据拿去训练模型不会额外损害隐私。附加的隐私损失由内容与风格的相关强度决定：相关性弱时额外损失有限，相关参数难以估计，所以作者另做了真实数据集上的实证对比，结论是隐私—效用权衡优于同类数据生成基线。代码已开源。

对大模型数据工作的影响

对外交付或跨团队共享语料时，脱敏清单要从”单条样本”扩展到”分布统计”：占比、均值、各属性联合分布同样是可被推断的秘密。清洗流水线里可以加一道属性分布的量化扰动，成本低于重新生成整批语料。由于 SML 对后处理稳健，这类处理可以直接接在现有去重与质量过滤之后，不必改动下游训练代码。

相关链接

破产公司的运营数据被摆上货架

事件概述

量子位 9 月 19 日转述彭博社 9 月 17 日的报道：SpaceX 内部讨论过从陷入困境甚至已经倒闭的初创公司手中购买客户信息与运营数据，用于改进 Grok。报道一并梳理了 Grok 的数据来源结构——X 负责塑造表达风格，AI tutors 补专业能力，缺的第三块是真实业务场景。

技术细节

Grok 数据侧的组织方式在换挡：原负责人 Diego Pasini 由 SpaceX/Starlink 背景的 Jack Garabedian 接任，后者的个人简介写着 “I’m trying my best to make the data good”。更早的同类案例是美国廉航 Spirit Airlines 破产重组后把内部业务数据送入拍卖，谷歌出价 1000 万美元竞买其去标识化业务数据、运营记录与软件代码，覆盖内容包括内部邮件、Teams 聊天、协作记录、收入、航班运营、员工生产力、审计与欺诈相关信息；这笔交易因可能泄露隐私被搁置。截至报道时点，SpaceX 的讨论仍停留在非正式阶段，未必形成交易，SpaceX 也未回应置评请求。

对大模型数据工作的影响

真实业务流程数据——客户怎么下单、工单怎么流转、服务怎么交付——是人工标注难以规模化补上的部分，也是把模型从”会聊天”推到”能干活”的关键语料。合规上要清醒：去标识化挡不住内部邮件与聊天记录的再识别风险，Spirit 那笔交易被搁置的原因正是内容构成而非数据量。走收购链路拿数据时，尽调对象应是数据的内容构成与来源链条，而不只是样本条数。

相关链接