数据论文速递 · 2026年09月11日

本期五篇论文落在数据工作的四个环节上：PB 级语料的工程底座、合成数据回流进训练的两类反噬、RLVR 题目筛选的适用边界、领域继续预训练的语料组合方式。共同点是都不再把数据当成静态资产，而是当成会随模型状态改变效果的变量。

一、OmniTable：把 35 PB 训练数据收进一张逻辑宽表

论文信息：OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration — arXiv:2609.11148

核心问题：工业级 LLM 训练的数据策管卡在三处：PB 级非结构化语料散落在数百张物理表里，特征工程依赖人工、围绕单表编排 pipeline，数据血缘基本缺失。改一个特征的代价被放大到整条链路。

关键发现：论文提出「逻辑统一、物理分离」的宽表层架构，四项贡献分别对应上述三处卡点。统一宽表抽象通过逻辑—物理映射把多源异构数据与数千个派生特征收进单一逻辑 schema；声明式特征生命周期管理自动完成依赖解析、执行规划、算子融合与血缘追踪，用「声明即执行」替代手工编排；自适应执行引擎靠异构算力路由（CPU/GPU）、自适应调优、UDF 级容错和存储布局优化稳住 PB 级特征回填；混合加速的探索层用全局 ID 索引、透明的 OLAP 卸载与后台物化视图做到秒级点查、过滤导出超过 20 TB/小时。生产环境中管理 web、code、PDF、SFT 四个域共 35 PB 以上训练数据，人工介入的策管周期从约 14 天降到约 2.5 天，相当于上一代流程的 5.6 倍效率。

实践启示：数据侧的效率瓶颈多数不在算法，而在「改一个特征要动多少张表」。逻辑统一、物理分离这套切法值得照抄：让上游使用者只看见一张宽表，物理存储仍按域分治，避免为查询便利牺牲写入与回填的吞吐。UDF 级容错这一条尤其关键——PB 级回填里长尾 UDF 的失败是常态，把它做成引擎内的一等公民而不是重试脚本，才谈得上稳定。

二、递归训练有脆弱性谱系：坍不坍是 checkpoint 的固有属性

论文信息：A Fragility Spectrum for Recursive Language-Model Training — arXiv:2609.11149

核心问题：模型生成的文本正在回流进训练语料，反复训练会压垮输出多样性。此前研究多关注坍缩现象本身：哪些协议、哪些数据配比会导致坍缩。被忽略的是同一套流程下不同模型的表现差异极大，而这个差异此前没人系统测过。

关键发现：作者固定一个递归污染协议，让 13 个公开 checkpoint 组成共享同一语料池的生态，迭代五代。五代之后 unique 4-gram 结果分布在 0.187 到 0.940 之间，差距约五倍——有些模型几乎不受影响，有些退化成重复片段。改变共享池的构成、混入人类文本，排序的 Spearman 相关仍维持在 0.91–0.97；换随机种子维持在 0.93–0.98。这说明「是否容易坍缩」是 checkpoint 自身的属性。参数规模解释不了：同一家族三个尺寸的阶梯在规模上并不单调，作者测试的静态指标也全部预测失败。有效的代理指标很廉价——让模型对自身输出迭代两到三代，就能推断它在更大生态中的脆弱性。干预手段上，收紧 top-p（在生成阶段砍掉低概率长尾）在三代内几乎止住坍缩，让覆盖全谱的 6 个 checkpoint 一并稳定下来；数据侧过滤只能减慢坍缩，止不住。

实践启示：把「脆弱性」纳入模型选型：进入会产生自我回流的数据生态前，先跑两三代自迭代做体检，成本远低于事后发现多样性崩掉。控制手段的优先级也和直觉相反——生成端的 top-p 收紧比数据端过滤见效更快，因为坍缩的放大器在采样尾部，不在语料里。

三、合成数据不是免费午餐：技能检索上的灾难性遗忘

论文信息：When Synthetic Data Hurts: On Catastrophic Forgetting in Skill Retrieval for LLM Agents — arXiv:2609.10750

核心问题：LLM agent 越来越依赖运行时检索外部技能，从大仓库里选对技能成了关键环节。真实监督稀缺，工程上通常用合成数据补足，这笔账此前没人算清楚。

关键发现：论文给出一个覆盖 34,396 个技能的生产技能路由器，在有限真实监督加合成数据的设定下做大规模检索研究。结论是合成数据微调提升了分布内检索，代价是在真实数据与分布外（OOD）数据上发生灾难性遗忘。作者试了四种源自持续学习的缓解方法：embedding-anchor 正则化、Learning without Forgetting（LwF）、Elastic Weight Consolidation（EWC）、L2-initialization。这些方法留住了 OOD 技能检索的性能，还把合成分布内技能的检索再推高 13.98%（0.6B Qwen 的 retriever 与 reranker）。

实践启示：合成数据直接混进微调是负收益操作，尤其当线上分布与合成分布不一致时。稀缺、多正例的监督场景建议默认配 EWC 或 LwF 这类约束——论文里它们不是单纯的「防遗忘保险」，而是把分布内指标也一起抬上去了，代价几乎为零。

四、CircuitLens：用推理电路给 RLVR 选题，结论反直觉

论文信息：CircuitLens: Reasoning Circuits as Data Selection Signals for Reinforcement Learning with Verifiable Rewards — arXiv:2609.07183

核心问题：RLVR 对训练哪些题很敏感，现有的筛选标准——难度过滤、人工策展、reward 轨迹打分——都把数据价值当作题目本身的固有属性，与将要学习它的模型无关。

关键发现：论文提出 Circuit Reasoning Score（CRS），信号来自对比消融识别出的 46 个推理敏感注意力头，在冻结的基座模型上单次前向算出，不需要 reward 标签或 rollout。结果和直觉相反：在 Qwen2.5-Math-7B 上，参与度最低的十分位比随机选择在三个中等难度基准上更强（GSM8K +2.0 个百分点、OlympiadBench +1.6 个百分点、Minerva +2.9 个百分点），参与度最高的十分位增益更小，且与中间十分位无法区分。优势带有边界条件：在领域策展过的题池上，各种选择方法分不出高下；1.5B 尺度下有用的方向还会反过来；reward 最低的训练条件反而产生最强的下游泛化。论文的结论是，至少在 Qwen2.5-Math 的设定内，RLVR 数据选择是依赖训练区间的，不能被归约成一份静态的题目质量排序。

实践启示：别把一套选题规则当成可迁移资产。换模型尺度、换题池来源都要重测——论文的三个边界条件（策展池失效、1.5B 方向反转、低 reward 反泛化）每一条都足以让迁移过来的规则反向。CRS 的实用价值在于它便宜：冻结基座单次前向、无需 rollout，适合在做完整轮 RLVR 之前先筛一遍池子。

五、Climate-ModernBERT：异构语料先分训再合并，优于直接混训

论文信息：Climate-ModernBERT: Revisiting Corpus Composition for Domain-Adaptive Continued Pretraining — arXiv:2609.07798

核心问题：气候领域的 NLP 要处理科学文献、政策披露、合成报告等异构文本，继续预训练（CPT）阶段该怎么组合这些领域语料，此前缺少系统比较。

关键发现：作者以 ModernBERT-Base 为起点，在三类气候语料上做继续预训练：学术气候文本、气候过滤的网页数据、合成气候文档。他们系统比较了两条路线——语料混合后联合继续预训练，与独立专门化 checkpoint 的参数空间合并。九个气候 NLP 基准上，最佳模型平均 F1 达到 76.3，比 vanilla ModernBERT 基线高出 2.8 分。语料内部，学术气候语料在受评来源中提供最强的适应信号；路线之间，参数空间合并优于联合多源训练，更能保留异构气候语料之间的互补信息。

实践启示：语料配比与融合方式是两条独立可调的杠杆，别只用一条。当手上的领域语料彼此差异大（学术写作 vs 网页抓取 vs 合成生成），先各自专门化再在参数空间合并，比一开始就混着训更划算——混训会让强势语料吃掉弱势语料的信号。学术语料胜出也提示：过滤后的网页数据规模虽大，单位 token 的适应信号未必比得上精挑的学术文本。

小结

五篇论文拼出一条一致的线索：数据工作的收益高度依赖它所处的上下文。OmniTable 把策管周期压到 2.5 天，靠的是把架构问题当架构问题解；递归训练与合成数据两篇则说明同一批数据在换模型、换分布后可能由正转负；CircuitLens 与 Climate-ModernBERT 分别给出选题规则和语料配比上的反例。做数据决策之前，先问一句这个结论是在哪个模型、哪个池子、哪个尺度上得到的。