数据工程观察 · 2026年09月11日

今天 arXiv cs.LG / cs.CL 的 9 月 10 日批次里，数据侧的工作集中在一个共同问题上：配比、过滤、合成这些动作本身已经不新鲜，真正决定结果的是动作发生在训练流程的哪个位置、按什么维度度量、以及相对什么语料做评估。下面五条分别给出了可复用的判据。

时间外样本挡不住语料熟悉度

事件概述

时间序列基础模型的评估长期依赖早于模型发布的公开档案，高分和”见过测试集”纠缠在一起。常规补救是换一个时间上晚于模型的留出集。这篇论文就搭了这样一个留出集，然后发现补救并不彻底。

技术细节

评测覆盖 13 个预测器（4 个经典方法、3 个按数据集训练、6 个预训练），7 个分组取自 5 个领域，每条观测都发布于最后一个模型发布之后，且每个数据集无需 API key 即可重建。在这个协议下，预训练模型 7 组赢下 5 组，一组输给 Theta 基线，日汇率上与 seasonal naive 及所有其他方法都无法区分。

作者接着追问什么区分了赢与输，给出的结果是否定性的：季节性强度和谱熵这两个在输入窗口上测得的固有属性解释不了胜负，季节性强度与优势的相关性甚至是负的。真正跟踪优势的是语料熟悉度。最大增益出现在 Wikipedia pageviews（周粒度），比最佳经典方法 MASE 低 28%——而这一领域正是 TimesFM 作者描述的预训练语料主体，粒度相同，只有时间窗口不同。在预训练族内部（各模型预测完全相同的序列，序列难度被抵消），TimesFM 家族在 Wikipedia 上领先 Chronos 家族 −0.53 个名次，其他领域只有 −0.09（1500 对 754 条序列，Mann-Whitney p < 1e-5）。

对大模型数据工作的影响

时间留出集移除的是对某个时间窗口的记忆，移除不了对某个领域的熟悉。作者的推论对做数据的人更直接：基准需要相对已披露语料来声明领域留出，而不是只声明时间留出；使用者该问的问题不是”哪个模型更好”，而是”我的领域是不是这个模型长大的那个领域”。换句话说，语料披露的颗粒度决定了污染评估能做到什么程度。

相关链接

• 论文：https://arxiv.org/abs/2609.10357
• 代码、数据抓取器与逐序列结果：https://github.com/mahdinaser/tsfm-bench

Edu-QuRating：把教育价值拆成六个维度打分

事件概述

教育类数据过滤已经是改善语言模型预训练的常用手段，但多数过滤器把教育价值压成一个标量分数。当数据集本身教育材料密度就很高时，这个粒度显得太粗。Edu-QuRating 沿用 QuRating（Wettig et al. 2024）的思路，把它改成按维度打分与策展的流水线。

技术细节

流程是：先定义教育专用的评分细则，用 LLM 裁判标注抽样文档对，再把这种成对偏好蒸馏成可复用的 Edu-QuRaters，后者能对单个文本块按一组教育准则分别打分。在 2 个序列分类基座、6 个教育准则的设置下，最好的 Edu-QuRater 复现留出集 GPT-4.1-mini 成对判断的平均准确率为 0.917。

两个应用方向值得注意。第一个是语料过滤：作者给 322.25M 条 FineWeb-Edu-Fortified 文档打了分，得到过滤后的预训练配比；在匹配的单次预训练对比中，用 Edu-QuRating 配比训练的模型在 9 个基准上的聚合观测准确率高于 FineWeb-Edu 基线，增益集中在特定任务。第二个是当奖励用：把 Edu-QuRater 分数作为 GRPO 后训练的奖励项，在留出集成对裁判评估中，Edu-QuRater 奖励与答案结构奖励的组合产出优于 Qwen3-4B 基座的回复，教学质量与指令遵循两项都胜出。

对大模型数据工作的影响

一个打分器两处都用得上：预训练语料过滤、后训练奖励信号。中间的蒸馏步骤把打分成本摊薄到可以处理 3 亿条文档的规模。对已经在跑教育类过滤器的团队，这里的增量是把单分数换成按维度分数：密度高的语料库上，维度区分度比阈值高低更有用。

相关链接

• 论文：https://arxiv.org/abs/2609.09425

合成数据的坍缩不是必然，取决于投放阶段

事件概述

合成数据被当作突破人类数据规模上限的路径，代价是可能诱发 model collapse——固定比例的合成数据会让性能在数据扩展时停止改善，留下一个不消失的超额风险地板。这篇论文在高维线性回归的 one-pass SGD 设定下，把这个问题拆成了训练协议问题。

技术细节

作者针对混合训练与两阶段训练分别建立了有限样本风险界，把标准的偏差、方差与源不匹配效应分开：混合训练下有 fluctuation 与 persistent drift，两阶段训练下是 filtered initialization bias。两组界给出鲜明的对照——混合训练诱发强坍缩，两阶段训练因为只让合成数据出现在第一阶段而避开了那个地板，说明在简单的数据课程下坍缩并非不可避免。

在随机 sketch 模型下，作者进一步给出两种协议的 scaling law，其中混合训练在优化饱和区的结果是紧的。这些定律显示：混合训练下更大的模型会放大合成数据引起的退化；两阶段下高质量的合成预训练则能降低偏差。论文最后给出了一个精确的有限样本充要条件，刻画两阶段训练在相同的真实数据预算、相同的真实阶段更新下严格优于纯真实训练的时机。

对大模型数据工作的影响

配比实验里”合成数据占多少”常被当成唯一变量，这篇的结果说投放阶段是同等量级的旋钮：同样的合成数据，混着喂和放在第一阶段喂，一个有地板一个没有。那条充要条件也给了配比决策一个可以照着算的判据，不必只靠网格搜索试。

相关链接

• 论文：https://arxiv.org/abs/2609.09572

Tiny Aya L2-Thinker：数据混合撑起 60 种语言的母语思考

事件概述

推理语言模型的能力高度以英语为中心，模型不管被用什么语言提问，主要在英语里推理。这既让非英语用户难以使用，也有丢掉原问题意图、放弃目标语言中更容易表达的知识的问题。Cohere 团队从数据中心角度切入，研究 SFT 阶段的数据构成与调度怎么优化。

技术细节

他们做的是 L2 推理——让模型稳定地用用户提问的语言推理，在提示和答案之间搭起同语言桥梁。在 3.35B 规模上建出 Tiny Aya L2-Thinker，覆盖 60 种语言、6 个基准（数学、常识推理、指令遵循、开放式生成、文化推理），L2 推理率超过 93%，性能保持在强水平。

泛化到留出语言的路径被拆成三个条件：更广的语言覆盖、随手可得的多语非推理数据、以及足够强的英语推理骨架。这三个条件成立时，不需要在每种目标语言上都有推理监督数据。模型权重与多语推理数据一并发布。

对大模型数据工作的影响

多语种 SFT 配比里，非推理的多语数据经常被当成稀释品压低比例。这里的结论把它翻了过来：它是推理行为跨语言迁移的载体。对语料覆盖有限的语言，与其补推理标注，不如把单语通用文本纳入配比并保住英语推理部分的强度。

相关链接

• 论文：https://arxiv.org/abs/2609.10445

金融推理的数据中心后训练流水线

事件概述

金融教材、文本和问答对数量充足，但能直接用于推理导向后训练的只是很小一部分：现有问答对往往缺显式推理、缺足够上下文，或答案无法可靠验证；教材则要先转成合成训练样本。这条流水线针对的就是这个转化率问题。

技术细节

流水线并行构建三类互补语料：挖掘开源的推理轨迹、蒸馏金融指令数据、用知识图谱引导从金融教育材料生成问答对。语义去重之后，三个轻量序列分类器分别承担筛选金融相关样本、拒绝欠规格问题、识别适合用紧凑规则验证器做强化学习的任务。

适配侧的看点在于防回退。作者在 SFT 和 RL 之外用了自蒸馏 SFT 与后训练模型合并，以保住起始模型已有的金融能力。FINESSE-Bench 上的数字很直白：普通 SFT 让准确率下降 3.2–4.0 个百分点；自蒸馏 SFT 相对各自的起始模型提升 1.0–2.8 个百分点；等权合并在其 SFT 父代上恢复 3.0 个百分点，最终比原始模型高 0.9 个百分点；GRPO 用在难任务上，接在自蒸馏 SFT 之后加 0.4 个百分点，直接用于可验证任务则加 3.0 个百分点。

对大模型数据工作的影响

后训练掉点的具体幅度在这篇里给全了，普通 SFT 掉 3–4 个点、合并能捞回 3 个点这类数字，对做领域适配的团队是可以直接对标扣减的预算项。三个分类器都是轻量序列分类，成本远低于用大模型逐条筛；先分类再决定走 SFT 还是 RL 这个分派逻辑，也能搬到金融之外的领域。

相关链接

• 论文：https://arxiv.org/abs/2609.10113