数据论文速递 · 2026年09月28日

本期五篇讲的是同一件事的两端：语料在被投进训练之前要怎么改、怎么查，以及改完之后凭什么说效果是语料带来的。前三篇落在造与查——BabyLMs Macaroni 用 LLM 往多语言语料里插入代码切换并按课程排布，ufakzeka-1 把一个 151M 参数模型的全部数据配方、去污染脚本与评测门禁摊开给外部复核，Beyond the pale 给 Dolma 语料里的极端主义内容做了下限估计。后两篇落在归因——CGMIA 用成员推断判定代码基准是否漏进了训练集，ORDER 造了一整套自洽的虚构世界语料，把持续预训练的增益与预训练重叠分离开。

BabyLMs Macaroni：用代码切换语料对齐多语言表示

论文信息：Feeding BabyLMs Macaroni: Code-Switching Curricula Cause Cross-Lingual Convergence，arXiv:2609.30535，https://arxiv.org/abs/2609.30535（5 位作者）

核心问题：多语言语料里各语言通常是分开的，模型拿不到把同一意思的不同语言写法绑在一起的监督信号。靠平行语料补这条信号，在低资源语言与跨书写系统的组合上成本很高。

关键发现：作者用两个 1 亿词的多语言语料做对照，一个由 English、Dutch、Chinese 的 BabyBabelLM 数据混合而成，另一个由它经 LLM 插入词级与句级代码切换生成。训在代码切换数据上的模型，平行文本的表示被拉近，跨书写系统时最明显，这份对齐在之后单语文档训练过后仍在。把训练排成课程——先词级代码切换，再句级，最后单语文档——模型在 BabyLM 评测套件上优于不含代码切换的基线。作者把代码切换课程定位为多语言预训练的一类数据增强手段，代码、数据、模型一并发布。

实践启示：多语言语料里可以主动造混排样本，不必等天然平行语料。课程顺序要写进数据配方：先浅层混排（词级）后深层混排（句级）再回到单语，比一次性混入更稳。跨书写系统的组合（如中文与拉丁字母）是这类增强收益最大的一档。

ufakzeka-1：把小模型的整条数据配方摊开复核

论文信息：ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch，arXiv:2609.25081，https://arxiv.org/abs/2609.25081（1 位作者）

核心问题：小模型论文通常只报能力分数，数据怎么选、评测怎么守门这两件事写得含糊，别人无从复核，也无从判断哪些结论能搬到别的语种上。

关键发现：模型 151M 参数（含嵌入 182M），在 13.5B token 的开放许可土耳其语文本上从零预训练，云 GPU、API 与 notebook 的合计开销约 286 美元。作者把可复用的部分当作交付物：1.77 token/词的字节级 tokenizer、三阶段预训练排程、开放许可数据与生成数据混合的后训练配方、5,508 段对话的规则校验扫描与人工判分。去污染做在数据构建内部，另有一个签入仓库的不变式脚本在每次构建前跑一遍。三条结论值得记：安全门曾被人用照着门本身的问题写出来的训练数据修好，账面读数是 64/64，诚实值是 34/64；训练种子方差与所有试过的配方之间的差异一样大，这个尺度上单种子对比给不出信息；数据轮次只修好了数据里缺的部分，长上下文的身份追踪与多轮算术在任何数据改动下都不动，作者把这读作模型规模的上限，不是数据缺口。

实践启示：评测用的提示词要从训练数据里留出，去污染做进数据构建流程，别事后补一道。安全门的修法要查是不是靠自造数据刷上去的——用门本身的问题写训练数据，账面分数会虚高。小模型上的配方对比必须多种子，单种子差异的量级与配方差异相当。

Beyond the pale：给 Dolma 语料里的极端主义内容做下限估计

论文信息：Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data，arXiv:2608.14813，https://arxiv.org/abs/2608.14813（2 位作者）

核心问题：可信与安全方向的工作集中在模型输出侧，预训练与后训练语料本身的构成缺少量化。开放语料里极端主义言论有多少、是什么形态，一直没有一个可核查的数字。

关键发现：作者采用来自官方文件与研究文献的多种极端主义言论定义，配上自动文本处理加专家核验的抽取流水线，在 Dolma（支撑 OLMo 系列的开放训练语料）上给出下限：数十万份文档含极端主义内容与多类仇恨言论，其中包括直接的暴力号召。作者明确把结果标为下界，抽取流水线以精确率为先，漏掉的不计入。论文落点在数据策展与预训练的取舍上——这一量级的存在说明未过滤的网络文本直接进预训练这一默认做法需要重新算账。

实践启示：语料内容审计要给下限而不是点估计，并写明定义来源与核验方式，否则数字无法被别人复核。安全过滤的阈值设定得先把语料里到底有什么量化出来，靠输出侧拒答率倒推语料状况这条路走不通。开放语料的成分清单应当算作预训练交付物的一部分。

CGMIA：判定代码基准是否漏进了训练集

论文信息：Keep Evaluation Fair: Detecting Data Leakage in Code Generation Benchmarks via Membership Inference Attacks，arXiv:2609.09865，https://arxiv.org/abs/2609.09865（6 位作者）

核心问题：代码生成基准泄漏进训练集会抬高分数、削弱评测效力。已有的 DetectLeak 靠困惑度判定，困惑度反映的是对代码模式的整体熟悉程度，在复杂或罕见样本上会失灵，也丢掉了代码相似度、功能正确性、语义表示这几路信号。

关键发现：CGMIA 先在基准样本的子集上微调一个影子模型，构造出带标签的成员与非成员数据。每个样本取输入提示、生成代码与参考解，抽取两组特征：专家特征含 CodeBLEU、编辑距离、测试通过率、困惑度，语义特征取 CodeBERT 嵌入。集成模块把表层记忆信号与更深的行为模式一并交给分类器，判断该样本是否进过目标模型的训练集。八个代码生成基准上的实验显示，CGMIA 在多数情况下优于八种已有成员推断方法，并在 StarCoder-7B 的训练数据里检出了已知泄漏的 APPS 样本。

实践启示：污染检测别只盯困惑度，功能正确性（测试通过率）与语义相似度才是代码类数据上更硬的证据。影子模型微调这套构造能搬到别的垂直基准上，通用成员推断方法在代码上并不是最优解。榜单分数在采信之前，值得先跑一次泄漏筛查。

ORDER：用虚构世界语料分离持续预训练的真实增益

论文信息：ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI，arXiv:2609.22285，https://arxiv.org/abs/2609.22285（2 位作者）

核心问题：用持续预训练把语言模型适配到新领域时，训练语料与模型已有知识重叠，性能提升来自新学到的东西还是来自本来就会，这笔账算不清。在知识密集、任务轻量的机器人部署里（药品分装、危化品处置、场地方协议），规则是专有的且事关安全，实机验证昂贵，这个问题最要紧。

关键发现：ORDER 造了一个虚构世界，34.2 万 token 的合成语料定义一套自洽、且不会出现在任何模型预训练数据里的物理规则。配套 500 题知识测试 ORDER-BENCH，以及更难的组合任务 ORDER-SPATIAL——按安全操作顺序给物体排序，覆盖熟悉场景与全新场景。未做适配的 GPT-4.1 在 ORDER-SPATIAL 上低于随机水平（Kendall’s tau = 0.441），先验与这套凭空造出来的物理规则正面冲突。持续预训练之后，小模型在熟悉与全新场景上都明显提升，指向真实的世界模型归纳而非记忆。走完机器人流水线还要再加一个技能适配阶段，此后小体量、完全离线的模型超过了拿到同样规则检索权限的 GPT-4.1（tau 0.848 对 0.606），在 iiwa7 机械臂上从感知演示到执行。真正预测计划质量的是 ORDER-SPATIAL 分数，不是知识测试正确率。

实践启示：评估领域适配效果，先造一块确定不在预训练分布里的语料，把新学到与本来就会分开，否则增益无处归因。知识问答分数不等于可执行计划质量，做数据配比别拿前者当验收指标。合成语料只要规则自洽，就能当干净的探针用。

小结

五篇合起来指向一条流程：语料改完要有独立探针（ORDER 的虚构世界、ufakzeka-1 的留出提示词），语料进训练前要有成分清单（Beyond the pale 的下限估计），榜单分数采信前要有泄漏筛查（CGMIA），增强手段要按课程排进配方（BabyLMs Macaroni）。四项里缺任何一项，数据侧的结论就停在主张层面。