数据论文速递 · 2026年09月14日

本期五篇论文落在同一个问题上：数据到了模型手里之后，是怎么被用掉的。重复几遍、哪些 token 参与梯度、合成与真实按什么比例掺——这些调味层面的选择，对最终效果的影响不比数据规模小。

一、MoE 在数据重复下塌得比稠密模型更快

论文信息：Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data，arXiv:2609.11917，https://arxiv.org/abs/2609.11917

核心问题：人类写就的语料快用尽，重复训练数据成了常规操作。稠密 Transformer 上的重复效应已有研究，MoE 这类稀疏架构在重复数据下的表现则基本是空白。

关键发现：作者在 80M 到 1B 激活参数（总计 8.5B）的范围内调整重复率、专家数量与粒度，得到一致结论——MoE 退化更快，且退化程度随稀疏度上升，由总参数而非激活参数决定。80M 稠密模型重复 8 倍以上仍几乎没有损失，MoE 在 4 倍就开始掉，到 32 倍时反而在全唯一数据下的优势全部丢光，跑输稠密模型。dropout 一类正则化能缓解；配合较强的掩码正则，MoE 在重复超过 64 次时仍能胜过稠密模型，但没有任何方法能追平全唯一数据。机制上，MoE 路由在训练早期就普遍稳定下来，专家特化程度与重复数据过拟合正相关。

实践启示：给 MoE 排训练计划时，重复次数不能沿用稠密模型的经验值。手里 token 预算紧张、打算靠多 epoch 凑量的时候，先算总参数口径的稀疏度，再决定重复上限，并把掩码类正则当成默认项而不是兜底手段。

二、检测器造出来的数据集，精度由流行率说了算

论文信息：Prevalence Determines Precision: Silent Contamination in Detector-Defined Datasets，arXiv:2609.11449，https://arxiv.org/abs/2609.11449

核心问题：大量数据集是拿检测器、启发式规则或模型过一遍候选池构造的，被接受的样本直接变成标签。这类数据集的精度究竟由什么决定，此前缺少可验证的分析。

关键发现：同一台仪器、同一时间段，一个检测器跑三个候选池，幻影（phantom）率分别是 81.7%、9.0% 和 0.0%。把两个高幻影率池的精度迁移到低幻影率池，预测值 0.955，实测只有 0.183，误差 +422%；用贝叶斯表达式预测，三个池全部落在 3.3% 以内。检测响应曲线可以精确拆成真实事件与幻影两个分量的凸组合（残差 1.1e-16），幻影 473 条多于真实事件 308 条——污染是一路带着检测器形状的第二信号，不是加性噪声。污染方向还取决于估计量：同样的窗口里，一个统计量被稀释，另一个被抬高，因为它的分母也被污染了。某种常见归一化把估计量变成比率的均值，其期望未必存在；在同样 335 个事件上它给出 0.40，而定义良好的估计量给出 0.10。

实践启示：跨数据源迁移精度指标之前，先估各池的真实流行率。合成数据、模型打分筛出的语料都属于「检测器定义」的集合，用同一套阈值在不同来源上跑，得到的精度不可比。

三、SFT 该学哪些 token：把两端都剪掉

论文信息：Which Tokens Should SFT Actually Learn? A Token-Trimming Perspective on Mathematical Reasoning，arXiv:2609.09707，https://arxiv.org/abs/2609.09707

核心问题：SFT 对所有目标 token 施加统一的交叉熵损失，不同 token 对推理能力提供的学习信号并不等价。统一处理会把已掌握的 token 磨得过尖，又给低置信度 token 施加过大的学习压力。

关键发现：TrimSFT 按 gold token 与最强竞争者的 logit 差距对损失做重加权，两端都剪——logit 差距大的（已掌握）和差距小甚至为负的（模型当前撑不住的），只保留中间区间。实现方式是中心在 margin m、带宽 τ 的高斯权重，不需要参考模型，也不增加前向传播。在 Llama、Qwen、DeepMath 六个基座模型、五个数学推理基准上，TrimSFT 稳定优于标准 SFT，六个模型里五个拿到最佳平均表现，MATH500 上最高提升 +26.9 分。进一步分析显示带宽 τ 比 margin 的精确位置更重要，只剪一侧的 half-trim 变体权衡更差。

实践启示：数据清洗之外，token 级损失加权是另一条低成本的收益来源，实现只需改几行。调参优先级放在带宽而非中心位置；只压低置信度 token 或只压高置信度 token 的单向方案都不划算。

四、用 TF-IDF 给训练 token 重新配重，记忆减少一半以上

论文信息：Rebalancing Token Importance in Language Models with TF-IDF Weighted Cross-Entropy Loss，arXiv:2609.11029，https://arxiv.org/abs/2609.11029

核心问题：语言模型训练默认给每个 token 等权，高频低信息 token 因此主导学习过程，模型更容易记住表层文本片段。

关键发现：作者用 TF-IDF 统计量重缩放 token 级损失贡献，突出语义信息量高的 token、压低 ubiquitous token。1.1B 到 13B 五款 decoder-only 模型上，记忆子串长度一致下降，困惑度与下游任务表现保持不变。LoRA 微调下平均记忆子串长度减少 14%；TinyLLaMA 1.1B 全参微调下减少 58%。方法不挑架构，接入现有训练流程的计算开销低于 3%。

实践启示：训练目标里若包含降低逐字记忆（版权、隐私、脱敏场景），这是个几乎免费的开关。开销 3% 以内、不动架构、不需要额外数据，值得先在微调阶段试。

五、合成数据补真实数据：满文 OCR 的四组配比实验

论文信息：Combining Synthetic and Real Data for Low-Resource Historical OCR: A Manchu Case Study，arXiv:2609.11495，https://arxiv.org/abs/2609.11495

核心问题：此前工作显示，只在合成满文词图上训练的视觉语言模型能在真实清代抄本与刻本上做到 87.4% 词准确率，合成到真实之间仍有明显落差。合成与真实历史数据该怎么掺，缺少系统的配比对照。

关键发现：用 60,000 张合成词图与 20,306 张真实历史词图，在三个预训练 VLM 和一个紧凑 CRNN 上跑了四种方案：纯合成、纯真实、合成真实联合、先合成后真实顺序训练，统一检查点选择与档案评测协议。引入真实图像后，领先配置升到 95.09%–96.28% 词准确率，纯合成配置没有一组超过 87.92%。合成数据对三个 VLM 都有明显增益，对 CRNN 的边际效果则取决于训练目标。联合与顺序训练在实测流程下档案准确率大致相当。CRNN 在有真实图像后也能进入领先区间，说明模型规模本身不决定识别精度。多个强识别器的错误互补，投票可以把准确率提到 98.27%，且不需要额外训练；十八世纪的满文词典则为分歧裁决提供了有依据的规则。

实践启示：合成数据的作用是把真实数据的效率放大，不是替代它。低资源场景下的预算应该优先保证一小批高质量真实标注，再用合成数据去铺量；顺序训练和联合训练差别不大时，选工程上更省事的那种。

小结

五篇合起来看，重复、配重、筛选、配比这四个动作都有可量化的收益区间：MoE 的重复上限在 4 倍附近，TF-IDF 配重能把记忆打掉 14% 到 58%，token 修剪在 MATH500 上换回最多 26.9 分，真实数据把满文 OCR 从 87.92% 推到 96% 以上。共同点是都不需要更多原始数据，只需要改一改现有的用法。