数据论文速递 · 2026年07月23日

引言

当互联网通用语料的 Scaling Laws 收益递减，数据工程的核心矛盾已从”怎么获取更多数据”转向”怎么为特定领域构建高质量语料”以及”怎么在数据采购中保证可信度”。本期四篇论文覆盖了从领域预训练语料构建（SciCodePile 科学代码语料）、结构化知识合成（OntoBook 医学本体合成教科书）、大规模数据策展（SkillCorpus Agent 技能生态策展）到可信数据采购（SFGA SFT 数据门控采购）的完整链条，呈现了数据工程从”通用爬取”到”精准策展”的演进路径。

---

SciCodePile: A 128GB Corpus and Executable Benchmark for Challenging Scientific Code Generation

论文信息：SciCodePile: A 128GB Corpus and Executable Benchmark for Challenging Scientific Code Generation · arXiv:2607.19104 · Weifeng Sun, Ye Fan, Yuchen Chen 等 · 2026-07-21

核心问题：LLM 在通用代码生成上表现优异，但科学计算代码生成能力几何？现有科学代码数据集规模小、领域覆盖窄、缺乏可执行验证，无法真实评估 LLM 与”可靠科学代码生成器”之间的差距。

关键发现：

• 构建了迄今最大科学代码语料 SciCodePile，从 37,737 个公开仓库中提取 128GB 科学代码，覆盖多学科计算科学领域
• 从语料中策展出 200 个可执行基准任务，每个任务配备沙箱执行环境和自动化测试线束
• 评估 15 个 LLM：最强模型在可执行基准上仅 12.30% Pass@1，CodeBLEU 最高仅 38.13——科学代码生成远未被解决
• 持续预训练 价值验证：在 SciCodePile 上 CPT 后 CodeBLEU 提升 ×2.84，指令微调后 Pass@1 提升 ×4.79

实践启示：领域预训练语料的构建不能仅靠爬取，需要仓库级组织（将代码与元数据、依赖关系绑定）和可执行验证来确保质量。SciCodePile 证明了领域 CPT 语料对下游任务的放大效应——同样的数据，经过合理的格式组织和持续预训练，能产生近 5 倍的性能增益。对于构建科学计算、金融建模等垂直领域的预训练语料，这种”语料 + 可执行基准”的联合构建范式值得参考。

---

OntoBook: Ontology-Grounded Synthetic Textbooks for Medical Encoder Pretraining

论文信息：OntoBook: Ontology-Grounded Synthetic Textbooks for Medical Encoder Pretraining · arXiv:2607.18927 · Rian Touchent, Éric de la Clergerie (ALMAnaCH) · 2026-07-21

核心问题：医学领域编码器预训练需要大量领域文本，但高质量医学语料稀缺。如何利用已有的结构化医学知识（本体/ontologies）生成有效的预训练信号？

关键发现：

• 提出 OntoBook 三阶段方法：(1) 在本体图上随机游走捕获层级和因果关系；(2) LLM 将游走路径重述为流畅的教科书式散文；(3) 用合成文本训练编码器，同时执行 MLM + 关系预测 双目标
• 发布 130 万 本 LLM 重述的医学教科书，覆盖三个法语医学本体（CIM-10、CCAM、ATC）
• 在法语医学编码基准上：FRACCO +2.5 micro-F1，Distemist-FR +8.0 micro-F1，显著优于仅 MLM 预训练
• 关键反直觉发现：双目标必须在同一数据上对齐训练。错位训练（每个任务使用不同数据）导致 30 分性能退化

实践启示：结构化知识（本体、知识图谱、数据库 schema）是合成预训练数据的宝贵源，但其价值取决于训练目标的协同对齐——多目标各自用不同数据训练反而有害。这对所有”结构化知识 → 合成预训练语料”的管线设计有重要启示：合成数据的格式应同时服务所有训练目标，而非为每个目标单独生成数据。

---

SkillCorpus: Consolidating and Evaluating the Open Skill Ecosystem for Real-World LLM Agents

论文信息：SkillCorpus: Consolidating and Evaluating the Open Skill Ecosystem for Real-World LLM Agents · arXiv:2607.15557 · Yanze Wang, Pengfei Yao 等 · 2026-07-17 (v3: 2026-07-21)

核心问题：开源社区已积累大量 Agent SKILL 文件，但这些技能碎片化、冗余、质量参差不齐。如何将分散的技能生态整合为可用语料，并量化其对真实 Agent 任务的贡献？

关键发现：

• 构建了端到端框架 SkillCorpus：从 ~821,000 个爬取技能经六阶段管线策展为 96,401 个高质量技能
• 策展管线包括：结构过滤 → 去重（最陡减幅，-64%）→ LLM 质量评审（3 维度：效用/鲁棒性/安全）→ 安全门控 → 许可证过滤 → 索引
• 按照质心 16 类分类法组织，配合微调检索 + LLM 选择栈匹配任务相关技能
• 在三个基准、两个执行框架、两个开源主干上端到端评估：SkillsBench +7.5 pp，一致性提升
• 收益可追溯到覆盖边界（语料是否覆盖所需技能）和框架边界（执行框架是否正确注入技能）

实践启示：开源数据生态的”原始规模”远不等同于”有效规模”——从 821K 到 96K 的 88% 缩减率揭示了去重和质量过滤的绝对必要性。对 Agent 数据策展而言，检索 + 选择的双栈设计（先粗筛再精读完整技能体后决策）比单纯检索更有效。更重要的是，收益受”覆盖”和”框架”双重约束——语料覆盖不到的技能无法帮助，框架注入不正确的技能也无法生效。

---

SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement

论文信息：SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement · arXiv:2607.18960 · 2026-07-22

核心问题：SFT 数据采购面临信任危机——如何确保从第三方供应商处采购的训练数据质量可靠、安全合规、不含投毒或低质样本？传统方法依赖人工抽检或单一模型评分，成本高且不可扩展。

关键发现：

• 提出 SFGA（Statistics-First Gating Architecture）：统计优先门控 + 仲裁升级的 SFT 数据采购架构
• 统计优先：先用轻量统计特征（分布指纹、n-gram 频率、元数据一致性）快速过滤明显异常样本，成本极低
• 仲裁升级：统计门控无法确定的边界样本提交给多模型仲裁庭（adjudicative escalation），由多个独立评分器投票裁决
• 实现了可信度分级而非二元判定：数据被标记为”可信/待审/拒绝”三级，允许人工仅审查边界样本
• 在 SFT 数据采购场景中，相比单一模型评分，SFGA 在保持召回率的同时将误报率降低一个数量级

实践启示：SFT 数据采购的信任问题不能靠单一模型评分解决——统计特征是第一道低成本防线，多模型仲裁是第二道高精度防线。这种”统计 → 仲裁 → 人工”的级联架构在成本和精度间取得了实用平衡。对任何需要从外部供应商采购训练数据的团队，SFGA 提供了可落地的可信采购范式：统计门控可自动化执行，仲裁升级可按需配置，人工审查仅需处理边界样本。