数据工程观察 · 2026年05月12日
数据受限缩放定律、在线数据重加权、编码智能体轨迹数据集、合成预训练数据框架与合规训练数据采集平台
引言
本期聚焦数据工程领域五个重要方向：数据受限场景下的缩放定律新理论、数据策展范式的在线化转型、编码智能体训练数据的开源突破、合成预训练数据的规模化实践，以及合规训练数据的链上采集机制。从理论到工程，从开源数据集到商业基础设施，数据工程的每个环节都在经历范式级变革。
Prescriptive Scaling Laws：数据受限训练的处方型缩放定律
事件概述
Justin Lovelace 等人（arXiv:2605.01640，2026 年 5 月 2 日）提出了一种面向数据受限场景的处方型缩放定律。当训练算力持续超越高质量数据的可用量时，经典的 Chinchilla 缩放定律（假设每个训练 token 唯一）已无法指导预训练决策。该研究填补了这一关键空白。
技术细节
- 核心建模思路：对数据重复引入简单的加性过拟合惩罚项（additive overfitting penalty），精确描述数据重复下模型的超额损失行为。
- 关键结论一：超过一定阈值后，进一步重复数据适得其反，算力应投入模型容量而非数据重复。
- 关键结论二：单参数形式将过拟合效应隔离为一个系数，使得不同训练配置可直接比较。
- 案例发现：强权重衰减（λ=1.0）将该过拟合系数降低约 70%，从缩放定律角度解释了”数据受限场景下最优权重衰减应比常规大一个数量级”的现象。
对大模型数据工作的影响
这项工作为数据受限场景下的训练决策提供了可量化的理论指导。在高质量预训练数据日趋稀缺的当下，“多少重复是可以容忍的”和”何时应该转向扩大模型规模”不再只能靠经验判断。单参数过拟合系数的设计也使得不同数据策展策略的效果可在统一框架下比较，为数据选择与数据增强方案的评估提供了新工具。
ADAPT：在线重加权范式重构 LLM 数据策展
事件概述
Wanru Zhao 等人（arXiv:2605.05227，ICLR 2026）提出 ADAPT（Adaptive Data reweighting for Pretraining and FineTuning）框架，将数据策展从离线预处理重新定义为在线动态重加权问题，在指令微调与大规模预训练中均超越离线数据选择/混合方法。
技术细节
- 现有方法局限：离线数据选择/混合与训练过程脱节，模型或任务变化时需重跑整个流水线；硬过滤/重采样牺牲数据多样性，损害泛化。
- ADAPT 机制：通过损失加权动态调整样本重要性，基于相似性质量信号引导自适应逐样本学习率，不改变训练样本数量。
- 隐式课程学习：训练早期关注粗粒度模式，后期逐步转向细粒度语义区分，随模型演化自动调整聚焦。
- 实验结果：在等量 FLOPs 下，ADAPT 一致优于离线选择/混合及先前在线方法，跨基准泛化更强。
对大模型数据工作的影响
ADAPT 标志着数据策展从”训练前一次性决策”向”训练中持续优化”的范式迁移。传统离线流水线面临的核心矛盾——数据选择与训练目标的耦合困难、策展策略的脆弱性——在这里被根本性解决。对工程实践而言，这意味着数据团队无需在训练前穷举最优数据配比，而是可以在训练过程中自适应调整，显著降低了数据策展的试错成本。
CoderForge-Preview：最大开源编码智能体轨迹数据集
事件概述
Together AI 发布 CoderForge-Preview，这是目前最大的开源测试验证编码智能体轨迹数据集，包含 258,134 条轨迹（155,144 条通过测试验证），覆盖 51,201 个任务、1,655 个代码仓库。基于 Qwen3-Coder-480B 生成，微调 Qwen3-32B 后 SWE-Bench Verified 通过率从 23.0% 跃升至 59.4%，在 ≤32B 开放数据模型中排名第一。
技术细节
- 数据生成：以 Qwen3-Coder-480B 为基础模型，采用拒绝采样策略（仅保留通过全部仓库测试的轨迹），温度 0.7、top-p 0.8、最大 32,768 新 token。
- 轨迹特征：中位长度 38,052 token，最长 128K token，训练序列利用率约 82%。
- 许可合规：全部 1,655 个仓库经逐一许可审计，确保 MIT/Apache 2.0/BSD 等宽松开源许可。
- 训练创新：采用 Ulysses 序列并行、多打包边界掩码、token 级损失归一化，64 块 H100 GPU 全量训练。
- 生成成本：总计 $130,000（1,564 万次 API 补全，4,520 亿提示 token）。
对大模型数据工作的影响
CoderForge-Preview 代表了编码智能体训练数据从”短上下文代码片段”到”长上下文完整交互轨迹”的范式跃迁。128K 上下文长度、最多 100 步交互的轨迹数据，更接近真实编码场景。拒绝采样确保了数据质量（仅通过测试的轨迹），但也引入了高成本（$130K 生成 + 过滤）。对行业而言，25.8 万条开源轨迹为编码智能体研究提供了关键基准，同时验证了”大规模拒绝采样 + 长上下文训练”的技术路线可行性。
BeyondWeb：合成预训练数据的规模化经验
事件概述
DatologyAI 提出 BeyondWeb 框架（arXiv:2508.10975），系统探索了合成数据在万亿级预训练中的规模化经验。核心发现：3B 参数模型在 BeyondWeb 上训练 180B token 后，性能超越 8B 参数模型在 Cosmopedia 上同等 token 预算的训练效果；训练效率比公开网络数据快 7.7 倍，比 Nemotron-Synth 快 2.7 倍。
技术细节
- 核心策略：目标导向的文档重写（targeted document rewriting），对现有高质量网络数据进行改写而非从头生成，保证多样性的同时避免低质量内容引入。
- 三大处理维度：内容结构重组、教育性表达增强、信息密度优化。
- 关键发现一：数据多样性对长期性能提升至关重要，传统合成方法因风格单一导致边际递减。
- 关键发现二：对话式内容补充有收益但很快饱和（网络数据中对话式内容不足 2.7%）。
- 关键发现三：不同模型家族生成的数据质量相近，模型整体性能不能预测其合成数据生成能力。
- 小模型生成优势：1B-3B 参数模型在生成高质量合成数据方面表现优异，性能提升在 3B 后趋于平缓，生成成本仅为大模型的 1/10 以下。
对大模型数据工作的影响
BeyondWeb 的贡献不仅是又一个合成数据集，而是对”合成数据到底为什么有效”的系统解答。研究明确指出，合成数据的收益主要来自信息密度提升而非知识蒸馏，且小模型重写（而非大模型生成）是更优路径。这对数据工程实践有直接指导：用 3B 模型做重写比用大模型做生成的成本效益更高。同时，“模型性能不能预测合成数据质量”的发现提醒我们，数据生成模型的选择需要独立评估，不能简单依赖模型排行榜。
Numo：链上合规训练数据采集平台
事件概述
IP Strategy Holdings 旗下 Poseidon 于 2026 年 5 月 8 日推出 Numo 消费端应用，通过移动端简单任务让用户贡献真实世界训练数据，所有数据经来源核实与权利厘清后通过 Story 平台链上授权，确保即时商业可用性与透明可追溯性。上线首周已吸引 15,000+ 贡献者，生成 4 种语言共 170,000+ 条语音录制。
技术细节
- 采集模式：用户通过移动端完成简单任务（初始为低资源语言语音录制），每条贡献经核实、权利厘清和链上许可。
- 链上机制：基于 Story 协议实现数据来源透明化与许可即时化，规避 AI 训练数据的所有权与合规争议。
- 初期聚焦：代表性不足语言的语音数据，未来计划扩展至更多语种和任务类型。
- 规模：首周 15,000+ 贡献者、170,000+ 条语音录制，4 种语言。
对大模型数据工作的影响
Numo 代表了训练数据采集从”网络爬取”向”众包贡献+链上许可”的新模式。随着全球 AI 监管趋严（尤其欧盟 AI 法案），训练数据的合法合规性已成为不可回避的工程问题。链上授权机制使数据从贡献到商业使用实现端到端可追溯，这在版权诉讼频发的当下尤为重要。虽然当前规模尚小，但”用户贡献→链上确权→即时可用”的闭环为合规训练数据供应链提供了可扩展的基础设施蓝图。