数据工程观察 · 2026年09月26日
Rufus-Air 公开八阶段后训练配方与难度过滤参数，FROST 用真实梯度在线筛掉 20-30% 合成数据，自博弈预训练给出零数据 scaling 指数，机器文本检测在污染下的可靠边界被精确刻画，国内具身数据走向众包量产。
本期五条动态指向同一条主线：训练数据的量不再是唯一变量，「什么时候用、用哪一批、怎么判废」正在变成独立的技术环节。Amazon 把一套 106B 规模的后训练配方连数据清单一起公开；Meta 与普渡给出一种不需要外部验证器的合成数据在线筛选器；一篇斯坦福系的工作试着把预训练数据本身也交给模型自己生成；检测侧给出了污染条件下机器文本能否被可靠识别的精确边界；国内方面，具身数据开始走众包量产路线。
Amazon 公开 Rufus-Air 八阶段后训练配方
事件概述
Amazon 发布 Rufus-Air——一份跑在 GLM-4.5-Air-Base（106B-A12B）上的开放后训练配方，47 页正文配 20 张表，把数据、奖励设计、基础设施、阶段顺序与逐阶段结果全部列出。八个阶段串行推进：SFT、Reasoning RL、Coding RL、Instruction-Following RL、General Agent、Coding Agent、Search Agent、RLHF。阶段顺序按两条轴排：能力上从基础到高级，奖励上从可硬验证走向 judge 打分。
技术细节
SFT 混合集 9,014,929 条样本、445 亿原始 token，分布在 6670 万轮对话（其中 2350 万轮受监督）。掩掉 system、user 与工具观测之后，真正进损失的是 270.4 亿 token，占 60.8%。按能力分六类，样本占比与训练 token 占比严重错位：General Agent 占 39.6% 样本只占 14.2% 训练 token，Math 占 12.7% 样本却占 29.4% 训练 token，Coding Agent 6.1% 样本对应 19.7% token。
数据侧三个环节是配比、预处理、去污染。去污染用词级 8-gram 重叠测试：对每个基准条目采样约 20 个均匀分布的 8 词短语，与全部对话轮转的小写拼接串做子串匹配，任一条目命中比例达到 50% 就丢弃，十轮串联覆盖 Terminal-Bench 2.0、HLE、HLE-Verified、Tau2-Bench、SealQA、SWE-bench Verified、Multi-challenge、IFEval、IFBench。最容易漏的数学与知识类基准另加两道检测：穷举 8-gram 与 Llama-NV-Embed-Reasoning-3B 稠密检索。穷举筛出 26 对污染（25 条 AIME 24、1 条 AIME 26），人工复核稠密候选又确认 42 对，合计 68 对（58 条唯一样本）；连同边界样本保守删除 658 条，SFT 混合集累计移除 4,187 条。
贯穿各 RL 阶段的是难度过滤。Reasoning RL 用两道闸门：正确性过滤丢掉强教师 GPT-OSS-120B 也拿不到正奖励的题目，可学性过滤丢掉通过率超过 0.8 的题目，也丢掉零成功样本的题目。Coding RL 在 RL 开始前对每个问题从 base policy 采 4 个 warm-up 样本，四个全对（n=4 时 pass rate > 0.8）即剔除，最终留下 29,405 道 Python 题（EvolveCoder 14,743、Nemotron 9,393、Dolci 3,109、ADR 2,160），函数式占 53.2%、标准输入输出占 46.8%。Instruction-Following RL 侧两条规则：8 个采样响应中通过率超过 80% 的提示判为太简单，教师模型 4 次尝试都产不出合格响应的提示判为质量不合格。
对大模型数据工作的影响
这份配方把以往只在口头流传的两件事写成了可抄的参数：配比按训练 token 记账而不是按样本条数，RL 提示集合按当前策略的通过率裁剪。可学性过滤的效果在讨论部分说得很直白——在强 SFT 基座上，verifier 驱动的 Reasoning RL 可靠且基本受数据策展约束，收益更多来自过滤质量而非策略梯度目标的细节（GPQA +5.32，AIME 25 −2.81、AIME 26 −2.60）。去污染那组数字给出了量级参照：900 万条规模下最终只删 4,187 条，靠的是穷举 n-gram 与稠密检索两道互证，不是调阈值。
相关链接：https://arxiv.org/abs/2609.29421 、 https://huggingface.co/papers/2609.29421
FROST：把合成数据的去留交给训练中的梯度
事件概述
Meta 与普渡大学提出 FROST，一个在线合成数据筛选框架。它不依赖外部验证器，也不留 held-out 验证集，靠真实训练数据上的梯度反馈估计每条合成样本的效用，再决定哪些批次需要过滤、批内留哪几条。实验覆盖 CIFAR-100 图像分类、Spider 1.0 上的 text-to-SQL 微调，以及一个大规模工业广告重排系统。
技术细节
三步。第一步用合成样本梯度与平滑后的真实训练参考方向的对齐程度估计单样本效用；第二步把分数聚合成批级效用并与近期训练历史校准，落在中等效用带内的批次整批保留；第三步只对带外批次做样本级 IQR 过滤——批级过滤会整批丢弃，样本级能把其中有用样本捞回来。批门限与 IQR 倍数为 (τ_l, τ_u) = (−0.025, 1)、(λ_l, λ_u) = (0, 1.5)，两个数据集共用，没有按领域调参。
CIFAR-100 + ResNet-18 上，用 FLUX.1[schnell]、SANA、SD1.4 三个生成器分别造数据，在相同丢弃比例下（25.76%、26.01%、24.58%）准确率从 Real+All Synthetic 的 80.31、79.32、79.46 提到 80.89、79.97、80.60，Δ 分别为 +0.58、+0.65、+1.14。同比例下对照方法为 Random +0.02/+0.29/−0.12、DS3 −0.30/+0.45/−0.02、Covariance Matching −0.39/−0.11/−0.25、InfoBatch −0.47/−0.38/−0.22、OrderDP +0.05/+0.39/+0.20，FROST 在三个生成器上都是最优。Spider 1.0 微调上丢弃 20.4% 后执行准确率 65.7，对照 Real+All Synthetic 64.8（+0.9）、Random 64.1（−0.7）、GradNorm 64.2（−0.6）、GREATS 65.3（+0.5）；按难度拆开，Extra Hard 从 39.2 升到 42.8，Hard 从 56.9 降到 54.6。两阶段消融（图 3）显示单独做批级或单独做样本级都不如两级都用，完整 FROST 相对 real-only 的提升最高，为 +8.6pp。
对大模型数据工作的影响
合成数据的筛选信号从「像不像真的、够不够多样」换成了「对当前 learner 有没有用」。代价是要在线算梯度对齐；收益是不需要额外验证器模型与留出集，丢弃比例（20–30%）由训练过程自适应决定，不是先定预算再挑数据。对已经在做合成数据扩充的团队，需要回答的问题变成了：你的过滤信号锚在哪个分布上，以及这个锚点会不会随训练漂移。
相关链接：https://arxiv.org/abs/2609.29988
Self-Play Pretraining with Zero Data：数据也交给模型自己造
事件概述
一篇斯坦福系的工作提出自博弈预训练：从随机初始化出发，生成器产出 Brainf*ck 程序交给通用图灵机解释并生成字节序列，学习器自回归预测这些字节。学习器用标准交叉熵，生成器用强化学习，奖励是生成位于学习器能力前沿的序列，由此形成自适应课程。
技术细节
程序池每一轮由三部分组成：当前生成器的新采样、历史高奖励程序的局部变异、更早轮次的回放，分别对应全局探索、局部精化与保留已有结构。奖励取学习器梯度与其最近学习轨迹的对齐强度，用 AdamW 预条件内积度量，θ_past 取第 ⌊e/2⌋ 轮检查点；消融覆盖了六种变体——去绝对值、打乱程序池内奖励、单步窗口、实际损失下降、翻转符号、去掉生成器改用均匀程序。
零样本评估在文本（dclm）、图像、语音、MIDI、DNA、Metamath set.mm、C 与 Python 源码等 held-out 数据上进行，按模型规模、自博弈轮数、集成规模构造 compute-optimal frontier，拟合 L(C) = E + A·C^(−b)。指数 b 分别为：text (dclm) 0.123（文献 0.048–0.099）、CIFAR-10 HWC 交错 0.066 与 CIFAR-10 图像字节 0.145（文献 0.065–0.10）、16-bit PCM 音频 0.141、8-bit PCM 0.260（文献 0.12–0.14）、MIDI 0.249、Metamath 0.129（文献 0.17）、DNA 0.435（文献 0.01–0.06）、C 源码 0.116（文献 0.17）、Python 源码 0.113。作者的结论是指数与直接在自然数据上训练的量级相当且略高，DNA 是例外。对照实验里，直接从通用先验采样程序 scaling 慢得多；PCFG 预训练在语言类域有效，跨模态收益不一致。训练过程中生成器还自发发现了等差、几何、二次、三次等可识别的数学序列族（表 1）。
对大模型数据工作的影响
这条路线把数据策展推到极限：策展者变成模型自己，人类先验只剩通用图灵机这一层搜索空间约束。眼下的实用价值不在替代自然语料，而在它给出的分解——自然数据的 scaling 可以拆成通用预测结构与特定世界的偶然信息两部分，前者能被无数据的自博弈单独逼近（附录 A.1 还测了自博弈预训练后再上自然数据的加速效果）。做数据配比时，这提示合成数据的价值集中在前一部分，配比实验应当按这个维度做对照，而不是按来源标签做。
相关链接：https://arxiv.org/abs/2609.30063
污染条件下机器文本检测的可靠边界
事件概述
把人类文本与机器文本建模为有限阶马尔可夫过程并引入 Huber 污染，论文给出可靠检测的精确边界：污染相对干净源间分离足够大时检测不可能；在边界之下，一族截断似然比检验能达到消失的最坏情况错误。
技术细节
核心改造是 clipping——对加法型分数做上下截断。作者给出条件，在这些条件下截断检验一致，而原始检验的最坏情况功效趋于零。实验覆盖七个检测器（log likelihood、Rank、Log rank、LRR、Entropy、Entropy gap、Binoculars）、三个数据集、三个生成模型，并在 RAID 基准上复测。控制实验 20% 替换率下：随机替换时 Binoculars 从 58.8% 升到 85.7%（+26.9pp），LRR +26.2pp；尾部替换时 Rank 从 0.3% 升到 34.3%；Entropy 收益最小，两种构造分别 +1.4 与 +2.0pp。截断让七个检测器中的五个在干净数据上的平均 TPR 下降，换来污染条件下的全部提升。目标 FPR 5% 时，LRR 的 TPR 中位提升 8.3pp；RAID 上按替换率与攻击类型分别提升 2.1 与 4.3pp。
对大模型数据工作的影响
语料清洗里用检测器剔除机器生成文本，默认评估条件是干净对照，而真实语料里的机器文本往往被改写过且以未知比例混入。这篇给出可操作的先决判断：先看污染比例与源间分离的关系是否越过边界，越过了就别再调阈值。工程改动成本很低——在现有统计检测器上加装截断即可，不必换模型。代价是干净场景下的 TPR 会掉，这笔账需要在清洗流水线里按语料的预期污染率单独算。
相关链接：https://arxiv.org/abs/2609.29935
觅蜂派：具身数据走众包量产，2 万套设备与百万小时
事件概述
觅蜂科技 9 月 23 日发布「觅蜂派」——硬件 + App + 数据引擎三位一体的无本体具身数据众包平台，用户申领采集设备、领取任务，在完成本职工作的过程中顺带采集，量子位 9 月 25 日作了报道。
技术细节
硬件是自研 MEgo 系列：MEgo View 为头戴全景相机加腕部特写相机，MEgo Gripper 是不到一斤的 UMI 夹爪并标配三维触觉；已下线 2 万套，产能数万套/月。报道称这 2 万套设备已进入真实场景，累计采集百万小时有效数据，覆盖 22 大类场景，采集形态含裸手、腕戴与夹爪，模态含彩色图像、深度、IMU、触觉与音频。
数据引擎 MEgo Engine 负责预处理、空间感知、标注与质量评估。HandPose 手部重建在奶茶制作场景中手部可见率低于 30% 时仍做到亚厘米级三维重建，团队称七项核心指标全部达到 SOTA；统一算法底座 MPR 在头部、手部、夹爪三类位姿重建上轨迹还原误差均小于 1 厘米。质检体系 ManiEval 按数据类型、任务类型、传感器质量、语义质量、动作质量打分并做 S/A/B/C 分级，团队概括为「不过滤，只分级」：动作轨迹精确的用于策略模仿学习，场景丰富、任务含义清楚的用于通用预训练与表征学习，操作失误过程用于训练错误识别，少见困难样本用于检验泛化。部署侧用 REMORA 任务进度模型配合 Value Model 筛出真实部署中的失败与困难样本回流。内测一个月注册用户 2 万人，累计提交 1.3 万份采集任务，报酬按有效时长计，有人单月拿到 5000 多元。报道对照的 Figure Index：四个月积累 1600 万条上传视频、覆盖 108 个国家、下载量 26.4 万、周活跃贡献者 4.3 万、已付报酬 1500 万美元；Figure 的 Helix 2.5 在加入人类数据预训练后，30 个陌生家庭的家务任务成功率从 9% 提到 56%。
对大模型数据工作的影响
具身数据的生产组织方式从集中式采数转向社会化采集，量级目标正从百万小时迈向千万小时。「只分级、不丢弃」这条路线对做数据清洗的人是直接的提醒：同一批原始数据在下游有四种不同用法，一刀切的过滤会一起丢掉错误识别与泛化检验所需的样本。报道也给了边界说明——无本体数据主要承担通用预训练，落到具体机器人仍需本体真机数据做后训练；分级以合规与基本质量为前提，不等于原始数据都能直接进训练。