数据论文速递 · 2026年09月19日

本期五篇论文分布在数据工作的四个环节：网页语料的清洗与去重、领域语料的合成、语料配比与样本筛选、以及预处理默认值的审计。作者们给出的结论有一个共同点——决定上限的往往不是模型结构，而是清洗顺序、种子集选法、配比权重这类看似琐碎的工序。

一、Fine PT-PT Web：411 TB 网页里捞出欧洲葡萄牙语语料

论文信息：Fine PT-PT Web: A High-Quality 41 Billion Tokens Data Collection of the European Portuguese Web（arXiv:2609.07699，https://arxiv.org/abs/2609.07699）

核心问题：为区域语言变体（欧洲葡萄牙语 PT-PT）构建预训练语料时，方言重叠（主要与巴西葡萄牙语 PT-BR 混在一起）与数据处理规模共同构成瓶颈。既有的启发式过滤规则会在语言尚未判定之前就丢掉大量合法文本。

关键发现：作者从 411 TB 原始网页出发，在过滤之前插入一个「抓取后处理块」，先移除样板文本（boilerplate）与行内重复，再交给后续环节。这个顺序调整把最终文档产出提升了 19.04%，被救回来的正是标准启发式过滤器提前丢弃的合法文本。整条流水线由严格的语言识别、加权模糊去重与神经质量分类三部分组成，最终产出 410 亿 token（41B）的语料。

实践启示：清洗步骤的先后顺序本身就是一项可调参数。去重与去样板放在质量过滤之前，能减少下游过滤器的误杀；做小语种或区域变体语料时，「先粗筛后精筛」的代价通常比反过来更大。

二、MiST：用专家审过的种子语料做网络安全中期训练

论文信息：MiST: Mid-Training LLMs for Cybersecurity（arXiv:2609.18496，https://arxiv.org/abs/2609.18496）

核心问题：领域适配的常见做法是在大规模原始领域文本上继续预训练。作者质疑这条路径，转而考察：少量经过专家审核的种子语料，能否撑起一个中间训练阶段。

关键发现：MiST 把中期训练（mid-training）放在通用预训练与网络安全训练之间，不堆砌原始领域文本，而是先人工审校出一份紧凑的种子语料，再将其转化为领域合成训练数据。8B 与 32B 两档模型在公开网络安全基准上的平均准确率，相对对应的 Qwen 基线分别提升 13.1 与 8.6 个百分点（相对提升 27.0% 与 15.8%）。消融实验把这些收益定位到中期训练与监督微调两个阶段，并确认该检查点为下游微调与强化学习提供了更好的初始化。

实践启示：领域数据的价值密度比体量更值得盯。把预算从「爬更多原始文本」挪到「审一小份种子集、再让合成流程放大」，是一条已经被量化验证过的路线；中期训练这个位置也值得在通用预训练之后单独留出。

三、QUALS：给时序语料做「均衡」，用小部分数据训练

论文信息：QUALS: Corpus Equilibrium for Universal Forecasting via Pattern Quantization and Learnability Synchronization（arXiv:2609.20156，https://arxiv.org/abs/2609.20156）

核心问题：时序基础模型的研究重心偏向结构创新，数据侧的多样性管理常被简化成朴素采样，混合语料里复杂分布没被有效处理，训练数据的利用率被压低。

关键发现：QUALS 用两个机制处理这件事。模式量化（pattern quantization）通过向量量化与均匀分箱，从混合语料中系统解码出异构模式；可学习性同步（learnability synchronization）为这些异构模式校准采样权重，弥合简单模体与复杂模体之间的优化落差。论文报告，在大幅削减训练预算的前提下，基于 QUALS 的预训练仍能取得更优的零样本表现。

实践启示：配比不该只按来源或数据量分配，按「模式」分配更接近本质。模式聚类之后，给复杂模式与简单模式设置不同的采样权重，是在不扩数据规模的前提下提升数据效率的一条路子；这套思路对文本语料的配比同样有参考价值。

四、EmbodiedMind：把数据筛选嵌进具身训练的三个阶段

论文信息：EmbodiedMind: Adaptive Data Curation and Prefix-Tree Reinforcement Learning for Efficient Embodied Intelligence（arXiv:2609.19659，https://arxiv.org/abs/2609.19659）

核心问题：具身基础模型的训练长期受三个问题拖累：低信息量样本造成的样本利用率低下、异构任务间的梯度贡献失衡、以及长程规划中轨迹级奖励不加区分地惩罚所有 token 导致的信用分配失效。

关键发现：三阶段方案各自对应一个问题。拒绝采样微调（RSFT）滤掉低信息量样本，建立行为先验并规避分布塌缩；迭代拒绝 GRPO（IR-GRPO）按难度分层维护任务队列，让强化学习各轮次之间的数据保持均衡；Trie-GRPO 用动作前缀树做步级优势估计，把中间的正确决策与下游错误隔离开。EmbodiedMind 在 18 个基准上取得 70.02% 的平均表现。

实践启示：数据筛选不是训练前的一次性动作，可以贯穿到强化学习轮次之间。按难度分层的任务队列值得借鉴——它把「数据配比」变成了一个动态维护的对象，而不是训练开始前就写死的权重。

五、别再默认删停用词：一项继承来的预处理惯例的审计

论文信息：Stop Removing Stopwords: How an Inherited Preprocessing Default Distorts Legal Text-as-Data（arXiv:2609.19153，https://arxiv.org/abs/2609.19153）

核心问题：法律实证研究把裁判文书当数据用，主流流程仍是 TF-IDF 加线性分类器这类稀疏可解释管线。这些管线继承了上世纪信息检索留下的一串预处理默认值，其中停用词移除最根深蒂固，却从未针对分类准确率做过验证。

关键发现：作者设计了一种穷举式单词级消融——逐个移除约 18,500 个候选词，直接测量该操作对下游目标的影响。在 Supreme Court Database 标签与 Caselaw Access Project 文书对应的两个二分类任务（意识形态倾向基线 F1 约 0.68、宪法类与非宪法类约 0.92，样本量分别为 7,668 与 7,001 份裁判意见）上，三点结论成立：通用停用词表在每一项测试中都低于「不移除」的基线；连专家调优过的停用词表也与「什么都不删」在统计上无法区分；基于词级特征的元模型无法预测哪些移除有帮助，词表优化缺少可瞄准的靶子。

实践启示：任何继承来的预处理步骤都值得用「逐个移除、直接测下游指标」的方式审一遍。停用词移除这类操作会静默改变模型能看到的特征，在可解释的文本分析里，它扭曲的正是研究本身要还原的那部分信号。