数据论文速递 · 2026年09月12日

本期五篇都落在「数据从哪来、怎么验、怎么洗」这条线上：Cohere Labs 用数据配比把推理能力迁到 60 种语言，一篇给出无参考集可依时的合成数据评分卡，一篇把 LLM 翻译输出的噪声做成了基准，BabyLM 赛道的工作测了非语言数据能顶多少语言数据，最后一篇用一个公开题与非公开题的落差反推出训练数据污染。

一、数据配比：推理能力跨语言迁移，不需要每种语言都有推理标注

论文信息：Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning — arXiv:2609.10445（Cohere Labs，8 位作者）

核心问题：推理模型几乎只用英语思考，无论用户用什么语言提问。多语言推理的常规思路是补齐各语种的推理监督数据，成本高且低资源语言无从下手。论文换了一个问法：配比和调度怎么定，才能让「用提问语言推理」这个行为泛化到没见过的语言。

关键发现：团队在 3.35B 规模上构建 Tiny Aya L2-Thinker，在 60 种语言、覆盖数学、常识推理、指令遵循、开放式生成与文化推理的 6 个基准上拿到 93% 以上的 L2 推理率，且各项性能没有明显下滑。通往留出语言的路径由三件事决定：更广的语言覆盖、随手可得的多语言非推理数据、以及一条足够强的英语推理主干。目标语言侧的推理监督不是必需品。

实践启示：做多语言后训练时，预算优先投向语言覆盖广度与非推理语料的规模，别急着为每种语言造推理标注。判断配比是否有效，直接看 L2 推理率这类行为指标，而不是各语种的平均 loss。

二、合成数据：没有真实数据做参照时，质量该怎么量

论文信息：Generating a Consistent Enterprise: Synthesis and Reference-Free Evaluation of Multi-System Business Data — arXiv:2609.11286（7 位作者）

核心问题：合成关系数据的常规做法是拿真实数据集训一个生成器，再用生成结果与真实数据的距离衡量质量。真实数据不可得时，这套评估链就断了。论文做的生成器两端都没有真实数据集：给定行业、公司规模、商业模式、一套业务应用和一个随机种子，产出一家完整虚构企业——员工、客户、销售订单、工单、通话录音、聊天记录和文档，彼此自洽。

关键发现：同一个实体图被投影进 66 种业务产品的原生格式，同一位客户在 CRM、工单系统和呼叫系统里保持同一身份。因为不存在真实对照，真实度改由引用的参考统计内建，并用无参考的方式验证：28 项统计检验构成的五轴评分卡、一个专门搜寻合成痕迹的对抗检测器，以及一组正确性检验（含与独立打乱副本的分类器对抗测试）。评分卡先于生成器调优存在，尺子固定不变。23 家生成公司上，平均真实度从 60.3 升到 99.1，最弱的一家从 41.1 升到 94.9，检测器最初标记 55.2% 的记录，最终一条都不再标记。这些分数在一个从未参与开发的种子上依然成立。

实践启示：先把评估尺子钉死，再开始调生成器，否则分数上涨可能只是尺子被挪动。合成数据流水线值得配一个对抗检测器做常驻回归项——它比分布距离更能抓住「一眼假」的问题。

三、数据清洗：LLM 翻译输出里的噪声，第一次有了基准

论文信息：TransClean: A Benchmark for Detecting and Extracting Clean Translations from Large Language Model Outputs — arXiv:2609.11399（2 位作者）

核心问题：用 LLM 批量做机器翻译时，输出里常夹带语言标签、解释说明、双语重复等正文之外的内容。这类「翻译噪声」很普遍，此前既没有专用基准，也缺少系统性研究。

关键发现：作者分析了 12 个 LLM、22 个语对产生的 79 万余条翻译输出，归纳出 12 种反复出现的噪声模式，归为格式噪声与内容噪声两类。据此构建 TransClean，含 9900 对噪声与干净输出，其中 8800 条为合成生成、1100 条为人工整理的真实样本。基准上评测了两种提取路线：基于 span 的提取（借翻译质量估计模型定位 span），以及直接用 LLM 提示把译文剥离出来。

实践启示：把 LLM 翻译当作语料生产手段时，噪声是结构性的，不是偶发故障。清洗应作为流水线的固定环节，并且在抽词阶段就区分「格式问题」和「内容问题」——两者的修法不同，混在一起处理会掩盖真实的译文质量缺陷。

四、数据效率：非语言数据能顶多少语言数据

论文信息：Structural priors for data-efficient language learning — arXiv:2609.11505（EMNLP 2026，BabyLM Challenge，4 位作者）

核心问题：语言数据和算力都不够时，先在非语言数据上训练、把结构化先验迁移过来，能不能减少对语言数据的依赖。

关键发现：音乐、概率文法、元胞自动机等符号数据类型能带来比随机初始化更低的语言建模损失，且这些增益伴随着后续语言训练中更小的权重偏移，说明迁移把模型放到了参数空间里更有利的位置。更低的损失没有稳定地转化为下游语言任务表现，从非语言数据迁移的效率也低于直接追加语言数据。作者的结论是：非语言数据可以部分替代语言数据来优化 next-token prediction 这一目标，撑不起更宽的语言泛化。

实践启示：拿 loss 当数据价值指标会高估非语言或弱相关语料的作用。评估一类新数据源时，必须同时看下游任务，只看预训练损失的下降容易做出错误的配比决策。

五、语料污染：公开题与非公开题的落差就是探针

论文信息：Individual Text Corpora Predict User-Specific Knowledge: Benchmarks of Individualized Knowledge Simulation — arXiv:2609.08532（6 位作者）

核心问题：个人搜索历史构成的个体语料（IC），能否用来模拟一个人的知识结构。

关键发现：研究收集了 316 位成年人的个体语料与 36 道多选题作答，比对多个 LLM 后只有 Qwen3-1.7B 可用。经 LoRA 微调，该模型在公开题目上超过了参与者和一个德国常模样本；换到非公开题目上，表现反而低于参与者——这个落差指向公开题目的训练数据污染。把个体语料接入 RAG 预测个人作答时，模型与参与者的匹配准确率显著高于随机，说明个体知识信号可检测；模型赋给参与者实际答案的概率偏低，对个体作答模式的校准很差。知识缺口预测整体欠佳，语料规模超过 500 万 token 后有所改善。

实践启示：判断一个模型在某个评测集上是否作弊，可以造一份同分布的未公开题目做对照，两组分数的差比任何声明都有说服力。用个人语料做个性化建模时，500 万 token 是这条实验里出现改善的门槛，低于这个规模的语料先别指望稳定的个体信号。

小结

五篇合起来指向同一件事：数据工作的难点正从「能不能造出来」移到「怎么证明它有效」。配比的效果要用行为指标验，合成数据的真实度要在没有参考集的前提下量，产出语料的噪声要有基准兜底，新数据源的价值不能只用 loss 判断，评测集本身也要接受污染检验。这套方法论的成熟度，正在决定数据团队的产出能不能被信任。