数据工程观察 Vol.102

本周数据工程领域出现一个明显趋势：数据与模型的边界正在被重新定义——从 Skaling Law 把数据交互纳入缩放律核心，到 BigBang RSI 让数据管线自己”进化”，再到采石矶在十亿级规模自动发现质量规则，都在指向同一个方向：数据工程不再是模型训练的”上游供应商”，而正在成为与模型能力深度耦合的共生系统。

Skaling Law：数据-模型耦合缩放律，1.5-3× 精度提升

Meta FAIR 于 8 月 7 日发布论文 Skaling Law，提出了一种全新的缩放律框架——通过引入”交互指数”（interaction exponent）将模型容量与数据质量耦合建模，而非传统的独立变量假设。

技术要点：

• 传统 Chinchilla 系缩放律假设模型参数 N 与数据量 D 相互独立，Skaling Law 引入交互项 N^α·D^β 中的耦合指数 γ，使 loss 预测公式变为 L(N,D) = L_∞ + A/N^α + B/D^β + C/(N^γ·D^δ)
• 在 100+ 组模型-数据组合上验证，MAPE（平均绝对百分比误差）降低 1.5-3×，尤其在数据-模型非均衡区域（如小模型+大数据）改进最为显著
• 关键实用价值：只需 10% 的全网格计算量即可完成高精度外推，大幅降低缩放律实验成本

对 LLM 训练数据工作的影响： 缩放律不再只是”给定数据量算最优模型大小”的配方工具，而开始回答”什么质量的数据配什么容量的模型”——数据特性（而非仅仅是 token 数量）正式进入缩放律的核心变量。这为数据策展（data curation）团队提供了量化依据：不同质量梯度的数据应有不同的最优模型分配策略，而非一刀切地堆量。

Harvey × EngramLab：1.08 亿 token 合成法律数据集 C&H 开源

法律 AI 公司 Harvey 与 EngramLab 于 8 月 7 日联合发布 Calderwood & Harkness（C&H）数据集，包含 1.08 亿 token、9,288 个文件、覆盖 250+ 客户事项的合成律所数据。

技术要点：

• 完全合成生成：模拟一家虚构律所的完整文件体系，包括客户备忘录、合同草案、法律意见书、案件时间线等
• 数据层级结构：从单一文档到客户事项（matter）再到律所全景，形成 3 层嵌套关系，可用于评估 RAG 系统的长上下文整合能力
• 零保密风险：所有内容均为合成，不涉及真实客户数据，可直接用于训练和评测
• 已在 HuggingFace 开源，采用 CC-BY-4.0 许可

对 LLM 训练数据工作的影响： 垂直领域合成数据正在从”概念验证”走向”生产级数据集”。C&H 的 3 层嵌套结构设计值得借鉴——它不仅解决了法律领域训练数据匮乏的问题，更重要的是提供了一种领域数据合成的方法论范式：先构建领域本体（律所→事项→文档），再沿本体生成，确保数据的一致性和可验证性。这对金融、医疗等同样面临数据稀缺的领域有直接参考价值。

BigBang RSI：数据层递归自我改进，35B 模型超越万亿参数

上海交通大学团队在 8 月上旬发布 BigBang RSI 框架，提出了数据层的递归自我改进（Recursive Self-Improvement）方法，在数据合成管线中实现了”数据进化”闭环。

技术要点：

• 双循环架构：内循环（Generator + Critic 迭代优化数据质量）+ 外循环（真实训练结果反馈调整生成策略）
• 关键创新：Critique 不再是人工规则或固定模板，而是由训练中的模型自身生成”反例”来驱动数据改进——即模型在训练过程中发现自身弱点，自动生成针对弱点的训练数据
• 实验结果：35B 参数模型在数学推理和代码生成任务上超越万亿参数模型，计算效率提升 10× 以上
• 数据多样性保障：通过熵正则化防止模式坍缩，确保每轮迭代生成数据覆盖新的能力空间

对 LLM 训练数据工作的影响： 这标志着合成数据管线从”一次性生成”进入”自演化”时代。传统合成数据管线（如 Self-Instruct、Evol-Instruct）是开环的——生成什么就训练什么；BigBang RSI 让数据管线成为闭环系统，训练结果直接驱动下一轮数据生成。这意味着数据工程团队需要构建”数据-训练-反馈”的全链路监控能力，而非仅仅关注数据生成环节本身。

采石矶：十亿级数据质量规则自动发现，32× 加速

深算院（深圳计算科学研究院）近日发布 采石矶数据质量系统，在十亿级数据规模上实现了质量规则的自动发现，相比 SparkSQL 方案加速 32×。

技术要点：

• 自动规则发现：基于统计特征和模式挖掘，自动发现数据中的隐含约束（如”城市-邮编”对应关系、“金额>0”等），无需人工定义规则
• 十亿级规模：在 10 亿行级别数据上完成全量扫描和规则提取，端到端耗时从 SparkSQL 的数小时降至分钟级
• 增量更新：支持数据变更后的规则增量更新，无需全量重算
• 规则置信度评分：每条发现的规则附带置信度分数，支持人工审核和自动化过滤

对 LLM 训练数据工作的影响： 预训练数据清洗目前高度依赖人工规则（如语言检测、重复度过滤、毒性过滤等），但十亿级数据中的隐含质量问题远超人工规则覆盖范围。采石矶的自动规则发现能力可以直接应用于预训练数据质量审计——自动发现数据中的异常分布、不一致标注、隐含偏差等。32× 的加速意味着数据质量检查不再是”训练前跑一次”的离线任务，而可以成为持续运行的数据质量监控流水线。

LAION eV Terminal Bench 2：智能体评测基准数据集

LAION eV 于 8 月 7-8 日在 HuggingFace 发布 Terminal Bench 2 及 Magicoder 数据集，为 LLM 智能体能力评测提供标准化基准。

技术要点：

• Terminal Bench 2：面向终端/命令行环境的智能体评测基准，涵盖文件操作、系统管理、调试排障等真实场景任务
• Magicoder：代码生成智能体评测数据集，包含多语言编程任务和自动化测试用例
• 评测维度：不仅评估最终结果正确性，还评估中间步骤效率（如 token 使用量、工具调用次数、错误恢复能力）
• 开源可用，支持 HuggingFace datasets 直接加载

对 LLM 训练数据工作的影响： 智能体评测基准的成熟对训练数据工程有双重意义：一是为中训练（midtraining）数据质量提供了量化评估标准——如果模型在 Terminal Bench 2 的特定任务类别上表现差，可以反向定位到训练数据中该类任务的覆盖不足；二是为合成数据生成提供了任务规格模板——基准中的任务定义可以直接转化为合成数据生成器的 prompt 模板，确保生成数据与评测目标对齐。