数据论文速递 · 2026年09月04日

本期五篇有一条暗线：数据”多不多”正在让位于数据”是什么形态”。同样是固定 token 预算，把重复文档的份额让给辅助视角反而学得更好；亚美尼亚语的开放生态里，真正卡住的是语料与评测集的重叠而不是 token 数；RLVR 的瓶颈也从一个训练样本能覆盖多少状态、而不是数据量本身暴露出来。剩下两篇把合成数据的落点问题讲得更具体——离决策边界多远，比生成多少更要紧。

辅助视角：把重复文档的 token 让出来反而学得更好

论文信息：Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views，arXiv:2609.04180，Joseph Lee、Yidi Huang、Dokyoon Kim、Shu Yang、Li Shen，2026 年 9 月 3 日提交，EMNLP 2026 Findings。

核心问题：预训练阶段的知识习得机制仍有大片空白。大规模语料里天然存在同一知识的多种表述（辅助视角，auxiliary views），它们只是噪声，还是真的对学习有因果帮助？

关键发现：作者用受控实验逐条隔离。重复确实是习得的必要条件，但改写只在较小 batch size 下有帮助。固定 token 预算时，把原本用于重复文档的份额转投给辅助视角会改善学习，连事实召回也受益——这一点反直觉。辅助视角的效果不依赖于生成它们的教师模型强弱。作者还区分了两类在已有知识缺口时最能帮上忙的知识形态：上下文型与基础型。机制层面用逐层偏置与压缩来解释这些效应。

实践启示：给数据配比方一个可操作的信号：同一知识的多表述（改写、问答化、摘要、跨语言复述）不该被去重环节一律清掉。很多去重流水线默认”语义重复即冗余”，这篇提示冗余本身可能承载学习信号。团队可以在小预算下跑对照实验：固定 token 数，一组纯重复，一组把部分重复换成改写版本，看事实召回类评测的差异。

相关链接：https://arxiv.org/abs/2609.04180

---

亚美尼亚语的开放生态：语料建好了，卡点是评测污染

论文信息：From Zero to Hero: An Open LLM Ecosystem for Armenian，arXiv:2609.03350，Erik Arakelyan、Khatun Avetisyan、Meri Davtyan 等，2026 年 9 月 3 日提交。

核心问题：亚美尼亚语形态丰富且低资源，预训练数据稀缺，此前没有哪个开放的亚美尼亚语 LLM 把可复现所需的数据和配方一并发布。

关键发现：团队策展并发布两个数据集：ArmWeb 是经充分验证的 437 万篇亚美尼亚语新闻文档，ArmSTEM 是 37.3 万道数学与科学题（含逐步解答）的英-亚平行集，翻译后经答案保留的 LLM 判定加人工评估双重验证。在 Gemma-4-E4B 上继续预训练得到 arm-gemma-e4b，超过所有现有开放亚美尼亚语模型及其未适配基座。消融给出了一个反常识的结论：纯新闻继续预训练提升流利度却侵蚀知识，而少量经过验证的翻译 STEM 数据能把损失补回来。作者还查出最大的公开亚美尼亚语语料与网络派生的评测面板高度重叠，FineWeb-2 内部就存在训练/测试自重叠。

实践启示：低资源语言的开放化，工作量的一半在建语料，另一半在查污染。FineWeb-2 内部的训练/测试自重叠这个发现值得所有用它的团队立刻自查——你以为是泛化能力的提升，可能有一部分是评测集泄漏。另外”新闻语料提流利度、蚀知识”这条消融结论对领域适配同样成立：只喂单一文体的继续预训练会让模型在某些能力上倒退，需要配比少量高质量的异质数据来对冲。

相关链接：https://arxiv.org/abs/2609.03350

---

DE-Venus：RLVR 的瓶颈是数据效率，不是数据量

论文信息：DE-Venus: A Data-Efficient RLVR Framework for Large Language Models，arXiv:2609.03324，Shenzhi Yang、Guangcheng Zhu、Kai Tang 等，2026 年 9 月 3 日提交。

核心问题：带可验证奖励的强化学习确实提推理，但真实落地卡在两个成本上：on-policy rollout 昂贵，大规模获取可靠标注目标更贵。已有方法分别解决样本选择、监督不完整或标签噪声，监督逻辑往往和分布式训练纠缠在一起，既难比较也难复用。

关键发现：DE-Venus 把监督看成贯穿数据准备与策略优化的演化状态，拆成三个模块：主动数据选择分配训练与标注预算，弱监督构建从未标注样本推导学习信号，训练时监督精化过滤或纠正不可靠监督。框架支持 7 种代表性方法和数据选择流水线，把方法特有的决策表达成离线数据集变换，或在线对目标、奖励、批次、优势的变换，同时保留 verl 的分布式执行契约。公开基准加三个业务场景里，仅用 10% 标签或低至 13% 的相关数据就能保持甚至提升质量，部分业务配置把观测到的收敛步数减少 63%–75%。

实践启示：把”监督”当成一个会演化的状态而不是一份静态标注文件，是这套框架最值得抄的部分。做 RLVR 的团队可以先只接其中一个模块——比如训练时监督精化——因为它是纯在线变换，不动数据管线也不动训练框架。省 63%–75% 的收敛步数对 GPU 排期紧张的项目是很实在的数字。

相关链接：https://arxiv.org/abs/2609.03324

---

合成样本落在表示空间的哪里，比生成多少更要紧

论文信息：The Impact of Synthetic Data Augmentation on Discourse-Pragmatic Function Classification，arXiv:2609.03652，Sara Sorahi、Kevin Tang、Reza Kazemian，2026 年 9 月 3 日提交。

核心问题：合成数据增强已是处理类别不平衡的常规手段，但多数工作关心的是生成样本的数量和多样性，很少有人问这些样本与真实训练数据在几何上是什么关系。话语语用功能分类正好是个合适的试验场——它的数据稀疏是结构性的，不是采集事故。

关键发现：作者用英国国家语料库里 410 个人工标注的英语词 look 实例（四类功能：Attention Signal、Directive、Discourse Marker、Interjection），用 Llama 3.1 生成合成样本，再按它们在 RoBERTa 嵌入空间中与真实训练数据的余弦距离分层，比较六种训练条件——各条件的增强数量相同，只有合成样本相对经验决策边界的落点不同。所有增强条件都比纯真实基线好，但靠近核心的近邻样本（NEAR）在 macro F 上增益最大（0.113），距离平衡的混合取得最高准确率（0.748）。没有哪个条件提升了 AUC，说明增强是在移动决策边界，而不是改善模型底层的概率估计。

实践启示：合成数据增强的调参旋钮，除了”生成多少”还有”生成在哪”。做低资源分类时可以加一道过滤：按嵌入距离把合成样本分成近/中/远三档，分别训一版再选。AUC 不涨这个信号尤其值得警惕——如果增强只把决策边界挪了个位置，换成别的测试分布就可能失效，别拿准确率一个指标下结论。

相关链接：https://arxiv.org/abs/2609.03652

---

纯合成训练能把泰文 OCR 推到什么程度

论文信息：How Far Can Synthetic Data Take Thai OCR?，arXiv:2609.03595，Kunat Pipatanakul，2026 年 9 月 3 日提交。

核心问题：合成 OCR 监督能给到精确的规模化标签，但”真实感”这个词把太多东西搅在一起了——源域、页面上下文、排版、空间结构、字形变化，到底哪个真的影响迁移？

关键发现：作者用受控的文档重建流水线把这些因素逐个解耦，在页面级和裁剪级两种训练粒度下，对印刷体和手写泰文文档分别评估。非文本上下文几乎没有一致影响；字体多样性、二维结构、真实手写字形这三项改善迁移。源域匹配的效果取决于训练粒度：页面级训练下域内重建接近真实印刷监督（中位字符错误率 1.82% 对 1.31%），裁剪级训练下域内重建反而输给域外重建（15.59% 对 5.52%）。按这些结论，作者用 45,723 个合成页面把 0.9B 的 PaddleOCR-VL-1.6 适配成 Wayu-Paxa-OCR-Zero：相对基座，印刷页中位字符错误率从 6.64% 降到 1.24%，手写从 74.87% 降到 20.55%，五个评测集上全部超过 Typhoon OCR v1 7B。

实践启示：这是”零真实标注也能做出可用模型”的一个完整样本，成本是 4.5 万页合成数据和一次受控的因素消融。两个可直接迁移的结论：一是别在”真实感”上笼统投入，字体多样性和二维结构才是有效项，背景纹理这类上下文基本白做；二是训练粒度会翻转源域匹配的作用，换粒度时必须重跑对照，不能沿用旧结论。

相关链接：https://arxiv.org/abs/2609.03595