数据工程观察 · 2026年09月22日

今天 arXiv 放出 Mon, 21 Sep 2026 新批次，cs.LG 149 条、cs.CL 87 条、cs.AI 125 条，去重后约 775 条里能跟训练数据对上的仍然只有一小撮。本期挑的五条分属五个不同环节：污染检测、RL 环境合成、分词与语料表示、操作轨迹合成、跨本体共训配比。它们共同的指向是把「数据」不再当成静态库存，而是当成可编排、可验证、可审计的工程对象。

一、ETD：把熵校正写进预训练数据检测

事件概述

预训练数据检测长期受一个问题困扰：高似然既可能来自训练时的曝光，也可能来自模型本身的泛化能力。2609.21888 提出在「预测损失 × 预测熵」的联合空间里改用斜边界替代只依赖似然的水平边界，并把这套方法命名为 Energy Transfer Detection（ETD）；论文声明代码会开源在 GitHub 的 kecy03/ETD，截至发稿该仓库匿名请求返回 404，尚未公开。

技术细节

方法部分做了均值—方差分析，说明熵校正能在保留成员信号期望的同时压低方差，从而拉开标准化后的成员与非成员距离；作者进一步把这个熵校正分数对应到 Helmholtz 自由能，把检测理解为宏观残差自由能的转移。评测用 Pythia 五档规模（160M、1.4B、2.8B、6.9B、12B）加 GPT-Neo-2.7B、Mamba-2.8B、OPT-6.7B、GPT-NeoX-20B，数据集为 WikiMIA 与 StackMIAsub，指标为 AUROC 与 TPR@5%FPR，并区分原文（Ori.）与改写（Para.）两种设定。

WikiMIA 上 ETD 的 AUROC 平均为 69.6（原文）与 68.8（改写），最好的基线 AECA 是 67.9 / 68.3；StackMIAsub 上 ETD 为 62.8 / 58.2，Min-K% 是 59.3 / 55.2。TPR@5%FPR 的差距更明显：WikiMIA 上 ETD 平均为 22.0（原文）与 21.1（改写），最好的基线 Zlib 在原文设定下是 18.2、Min-K% 在改写设定下是 16.0。论文给出的汇总口径是平均 AUROC 最多提升 3.5%、TPR@5%FPR 最多提升 5.1%，比最强基线在 WikiMIA 上分别高出 3.8% 与 5.1%，单模型最大增益出现在 GPT-NeoX-20B，达 7.7% 与 8.7%。

对大模型数据工作的影响

低误报区间的提升最能说明问题。做合规审查与基准污染排查时，误报的代价很高——一旦把通用文本判成成员，去重与下架动作就会误伤语料。ETD 在 5% FPR 这一档的领先幅度大于 AUROC 平均值的领先幅度，意味着它更适合拿去做「先筛后人工复核」的第一道闸门。改写设定下仍有优势这一点也更贴近现实：待查文本往往不是原文照搬。

相关链接：arXiv 论文页 https://arxiv.org/abs/2609.21888 、HTML 全文 https://arxiv.org/html/2609.21888v1

二、CodeMidas：以源码为唯一输入造出 5,545 个编码 RL 环境

事件概述

小米 LLM Core 联合北京大学等团队放出 CodeMidas，一条 agentic 流水线把现有代码库里已实现的功能直接转成可执行 RL 环境，任务专属输入只有源码，不依赖 issue、PR、commit 这类开发产物。

技术细节

流水线把 agent 算力摊到环境构建的每一环：先让 agent 探索已实现功能生成行为规格，再基于原始代码的实际执行构造测试，最后用执行检查与多轮解法 rollout 校验并过滤候选任务。产物是 5,545 条训练任务，来自 3,185 个开源代码库，覆盖 23 种编程语言、15 个技术领域。用它给 MiMo-V2.5 做 GRPO 训练，五个基准全部提升：问题修复 DeepSWE +11.7%、整程序构建 ProgramBench +17%、终端作业 Terminal-Bench v2.1 +8.5%。

消融里最值得记的一组对照：把高质量任务从 1k 加到 3k 再加到 5,545，SWE-bench Pro、DeepSWE、CodeMidas Val 上分数逐级上升；而 3k 的清洗过滤后子集在三个基准上全部压过不做清洗过滤的 8k 基线。行为侧也有量化：训练后期相较前期，首次编辑前的读/搜索调用从 27.2 升到 40.1，代码草稿与前置推理的重合比从 0.36 升到 0.63，最终编辑后的不同验证命令数从 2.03 升到 2.53，agent 自写并执行检查的 rollout 通过率更高。

对大模型数据工作的影响

「3k 干净 > 8k 未过滤」这一条把 RL 环境数据的取舍讲明白了：任务数量不是瓶颈，任务是否经执行验证才是。对自建编码 RL 数据栈的团队，与其堆量，不如把预算先投到「能否真正跑起来并复现成功」的校验环节。另一个可直接抄走的判断是任务池的语言与领域覆盖——23 种语言意味着不再被 Python 单语言生态绑死。

相关链接：arXiv 论文页 https://arxiv.org/abs/2609.22068 、HF Papers 条目 https://huggingface.co/papers/2609.22068

三、Phonemic Tokenizer：中文 112 词表、越南语 256 词表

事件概述

2609.21362 提出面向越南语与中文的音素分词器，把每个音节转成 IPA 后拆成 onset、rime、tone 三个音系成分，三个成分共同占据一个上下文位置，音节级序列长度不变。设计是确定性的，不需要从语料学词表。

技术细节

词表规模是这条工作最扎眼的数字：中文 112 条、越南语 256 条。对比之下 PhoBERT 64,000、WikiBERT 30,000、mBERT 119,537、XLM-RoBERTa 250,002——越南语侧 Phonemic 比 PhoBERT 小约 250 倍，比 XLM-RoBERTa 小约 977 倍。Rényi 效率在 11 个中文基准上全部最高，取值从 AFQMC 的 0.6607 到 CMRC 的 0.7099，四个基线里最好的值区间只有 0.3741 到 0.5550。Fertility 方面，12 个越南语下游数据集里 10 个最低，标准音节词典上正好是 1.0000，只有 NIIVTB POS（1.0422 对 PhoBERT 1.0200）与 PhoNER（1.0974 对 1.0341）两个例外。

预训练配置见论文表 1：中文侧源数据 2.3 GB、保留 2.1 GB，越南语侧 20 GB、保留 18.54 GB，均按行级过滤，行内不支持的内容走字符级 fallback；越南语用 12 层 BERT-base，中文侧沿用对照工作的六层与十二层配置。配套模型 PhonemicBERT 把分解后的成分嵌入拼起来，用三个预测头重构被掩码的完整音节。

对大模型数据工作的影响

这条工作对数据侧的直接启发在两点。一是词表与语料解耦：既然不需要从语料学词表，语料增删、领域切换就不必重训分词器，这对多批次迭代的预训练管线省掉一整类一致性风险。二是 Fertility 接近 1 且稳定，意味着同一批语料的 token 预算可以估得更准，做配比实验时「token 数」这个分母终于不再随分词器漂移。越南语侧 PhoBERT 在 ViHOS、ViHSD、ViOCD 上分别产生 2.4561、2.4374、2.7261 个上下文位置，Phonemic 只有 1.0116、1.0280、1.0139，同等 token 预算下的有效文本量差异相当可观。

相关链接：arXiv 论文页 https://arxiv.org/abs/2609.21362

四、SynthDemo-RL：合成示范把 27 个零奖励任务全部救回

事件概述

VLA 微调依赖人工遥操作示范，稀疏二值奖励下的强化学习又常因采样不到成功轨迹而探索失败。2609.21650 给出 teacher-student 框架：自动化 teacher 把仿真器的特权状态转成成功轨迹，VLA student 通过 SFT 蒸馏，再用二值任务成功奖励做 PPO 精修。

技术细节

论文引入 reward coverage 这个指标——固定评测协议下至少观察到一次成功的任务占比——用来补平均成功率的不足。在 LIBERO-PRO（对 LIBERO 任务做扰动、且没有示范数据的公开基准）上，用原始 LIBERO 任务微调出的 π0.5 策略，57 个计分任务里有 27 个成功率恰好为 0%。同样的 PPO 配方与同样的 RL 算力直接从这个策略起训，只能救回 27 个里的 10 个，剩下 17 个仍挂零。SynthDemo-RL 每任务只用 50 条合成轨迹、不新增任何人类示范，把 27 个全部救回，LIBERO-PRO 的 Position 与 Task 两个轴上平均成功率分别到 97.8% 与 97.1%。标准 LIBERO 上同一条流水线在无人类示范条件下达到 96.0%，与每任务 50 条人类示范训出的 π0.5 相差 1.7 个点。

对大模型数据工作的影响

「10/27 对 27/27」这组数字把合成数据的定位说清楚了：它的价值不在替换已有的成功样本，而在补上 reward coverage 的空洞——那些采样不到任何成功轨迹的任务，靠 RL 自身算力是敲不开的，需要先由外部 teacher 注入一次成功信号。对做 VLA 数据的团队，这意味着数据建设的优先级应该从「平均成功率」转向「零覆盖率任务清单」，先按 reward coverage 找出挂零的任务，再针对性合成。论文也在 RoboTwin 2.0 上做了验证，并确认 MuJoCo 孪生环境里训出的策略能在实体机器人上开环执行。

相关链接：arXiv 论文页 https://arxiv.org/abs/2609.21650

五、AtomEgo：2,659 小时人机共训语料给出的配比结论

事件概述

具身基础模型受限于机器人示范的规模与多样性，引入大规模第一人称人类数据是常见解法，但人与机器人在本体与动作空间上的落差让配比始终靠猜。2609.21461 用一套约 2,659 小时的精选语料加可扩展处理流水线，系统比较了三种共存范式。

技术细节

语料构成：从约 3,033 小时的机器人与第一人称数据出发，质量过滤后保留约 2,659 小时、334,054 条训练 episode。其中机器人数据来自 AgiBot World Beta、DROID、RoboCOIN、RoboMIND 加自采 Piper 双臂数据，约 1,560 小时；第一人称数据取 EgoVerse，约 1,079.5 小时；对齐数据是可穿戴设备采集的人类示范加同任务集的机器人执行，1,296 条 episode、约 20 小时。

三种范式分别是带领域专用动作头的联合共训（Atom-DH）、经本体对齐的渐进式 ego→robot 迁移（Atom-CL）、联合视频—动作建模（Atom-WAM）。论文用多任务实体机器人实验与语言条件下的跨本体表示分析做评测，最后归纳成一条原则：Data Scale × Alignment Quality → Capability Gain。三条 takeaway 分别是有效对齐需要的远不止直接混数据、ego 数据尤其利好 OOD 泛化、WAM 路线需要更强的对齐机制。

对大模型数据工作的影响

对齐数据只占约 20 小时、在 2,659 小时里几乎可以忽略，却被单列为一组并直接支撑了核心结论，这点值得玩味：跨本体共训里决定成败的不是大池子的体量，而是那一小撮任务语义对齐的监督信号。把这条搬到大模型预训练上，对应的正是「跨源语料之间是否存在任务语义对齐的中间层」这个问题——单纯把两个大语料按 token 比例混在一起，与先建一层对齐再混，收益结构并不相同。论文代码与模型入口挂在 Atom-0 项目下。

相关链接：arXiv 论文页 https://arxiv.org/abs/2609.21461 、项目仓库 https://github.com/Agentic-Intelligence-Lab/Atom-0

本期五条里，三条在讲「验证」——检测要经得起低误报考验、RL 环境要跑得起来、合成轨迹要能把挂零任务救回；两条在讲「表示」——分词决定 token 预算的口径，跨本体对齐决定混数据能不能真的转化为能力。