数据工程观察 · 2026年08月10日

引言

本期聚焦”合成数据的方法论升级”——从简单的 LLM 生成走向结构化、可验证、递归式合成范式。四条动态分别代表了智能体训练数据的递归合成（RST）、国家级科学预训练数据基础设施（DOE Genesis）、跨仓库代码依赖驱动的中训练长上下文语料构建（OctoLong），以及人口规模合成人格评估数据（MatrAIx）。合成数据正在从”替代品”走向”方法论”，每一条都带来了可复用的工程范式。

RST：递归合成引爆长时序终端任务训练数据生产

事件概述

arXiv:2608.05466（2026 年 8 月 5 日）提出 Recursive Synthesis for Long-Horizon Terminal Tasks（RST），通过递归改写已验证种子任务，生产 37,484 条长时序终端任务及 327,189 条智能体轨迹，难度曲线从 90% 通过率骤降至 2.5%，登上 Hugging Face 8 月 6 日热门论文榜首。全部数据集与检查点以 CC BY 4.0 开源。

技术细节

RST 的核心创新在于”从不从零开始”——每次递归都从一个已验证的种子任务出发：(1) 扩展参考解决方案增加一个工作阶段；(2) 重写验证器和指令以匹配新方案；(3) 在干净沙箱中重新验证整个任务包。通过 15 轮递归，中位参考解从 67 行增长至 374 行，shell 命令数从 40 增至 244，验证断言从 17 增至 57——而指令本身仅从约 85 词增至 122 词。任务变难但不冗长，这与大多数 benchmark 通胀的方向相反。关键工程陷阱包括：验证器镜像解决方案（将 RL 奖励退化为模仿损失）、快捷接受（placeholder 通过验证）、元数据继承不更新、以及将低通过率误认为高难度。

对大模型数据工作的影响

RST 为 Agent RL 训练数据生产提供了可复用的工程范式：每条任务约 5 美分成本 vs 人工编写数百至数千美元；在 Qwen3.5-27B 和 Qwen3.5-122B-A10B 上获得最高 +10 分增益，RL 后进一步提升。更重要的是，它揭示了合成数据”难度曲线”的精确测量方法——配对部分分数和近失误比例，而非仅看通过率。对数据工程团队的直接启示：递归改写 > 从零生成，验证一致性 > 生成多样性，难度应体现在可执行工作量而非 prompt 长度。

DOE Genesis：国家级科学预训练/中训练数据贡献门户启动

事件概述

2026 年 8 月 7 日，美国能源部（DOE）宣布启动 Genesis Open Models Initiative，联合 Arcee AI 开发首个开放权重科学基础模型 Genesis-Science-1，并开放数据贡献门户。基础阶段数据首期申请截止 8 月 14 日，后训练数据截止 8 月 25 日，此后每三个月滚动征集。这是美国联邦政府首次以”开放权重模型”为核心建立科学训练数据基础设施。

技术细节

门户明确征集两类训练数据：(1) 基础阶段数据——科学文本、代码、技术文档及结构化专业数据集，可用于预训练、中训练和上下文扩展；(2) 后训练数据——专家示范、任务标注、科研软件、完整工作流环境、RL 任务、独立评测集、评分规则与验证器。候选资源需通过五道审核：科学适配性、数据权利与处理方式、专家与评测准备度、技术集成可行性、最终项目选择。入选贡献者获早期模型评测访问权和技术报告署名。DOE 特别强调开放权重的战略考量：国家实验室需要在自己的计算设施上运行模型、保持固定版本数年、对核物理/材料/聚变等小众领域深度改造——依赖商业 API 无法满足这些需求。

对大模型数据工作的影响

Genesis 首次将”科学预训练/中训练数据”从学术贡献升级为国家级基础设施，确立了数据贡献的标准化流程（五道审核）和激励机制（早期访问+署名）。对数据工程的启示：科学领域预训练数据的最大瓶颈不是数据量，而是结构化策展和验证——DOE 明确要求”专家与评测准备度”作为审核标准，意味着高质量数据必须附带可验证的元数据。对中国 AI 数据工程的参照意义：类似的国家级科学语料贡献门户（如国家数据局行业高质量数据集行动方案）可参考 Genesis 的双轨制（基础+后训练）和滚动征集模式。

OctoLong：跨仓库代码依赖重构中训练长上下文语料

事件概述

arXiv:2608.05141（2026 年 8 月 5 日）提出 OctoLong，利用 AST + language server + 包管理器递归拉取跨仓库引用，构建百万 token 级富依赖代码上下文用于中训练。在约 50B token 混合中嵌入约 6.2B OctoLong 数据，经 ~10B 指令微调后，600M-14B 的 OctoLong-Instruct 在长程检索、状态跟踪、仓级代码理解与下游 Agent 任务上对 18 个开源长上下文模型取得实质增益。

技术细节

现有长上下文预训练语料（书籍、学术论文、单仓库代码）的长距离依赖密度不足——书籍依赖叙事连贯而非逻辑引用，论文依赖超链接/分类标签等弱关联信号，单仓库代码仅覆盖仓库内部依赖。OctoLong 突破的关键在于挖掘”跨仓库紧耦合多跳依赖”这一未被有效利用的高密度长程依赖数据源：通过 AST 分析提取 import 依赖，language server 解析类型引用，包管理器递归拉取外部仓库源码，最终拼接出包含完整依赖链的百万 token 级代码上下文。仅替换 12% 的中训练语料即可获得显著增益。

对大模型数据工作的影响

OctoLong 揭示了中训练语料设计的一个关键原则：长上下文能力 ≠ 简单堆叠长文本，而在于长距离依赖的密度。跨仓库代码依赖天然具有”调用链→类型定义→实现→测试”的多跳引用结构，比书籍叙事和论文超链接提供更紧密的跨文档耦合。对数据工程的直接启示：中训练阶段应从”数据量驱动”转向”依赖密度驱动”，用 12% 的结构化高密度语料替代等量的低密度长文本。这也为代码大模型的中训练数据配方提供了新思路——不应只看仓库数或 token 数，而应衡量跨仓库依赖图的连通性和引用深度。

MatrAIx：83 亿人格智能体开创人口规模合成评估数据

事件概述

arXiv:2608.04205（2026 年 8 月 4 日）发布 MatrAIx，构建 83 亿条人格画像记录（1,290 个类别维度），覆盖全球人口规模。公开释放约 100 万条高质量核心集（599,847 条人工锚定 + 400,000 条合成），完整 83 亿数据集受控访问。400 次受控试验中人设一致率 91.5%。研究团队跨越 93 位作者，含哈佛、MIT、OpenAI、Anthropic、Google DeepMind、xAI 等 40 余位参与者。

技术细节

MatrAIx 的合成管线采用双路径构造：(1) 依赖感知合成生成——在保留属性相关性的依赖图上采样，确保 1,290 维属性的统计联合分布合理；(2) 证据感知人工锚定——从人工撰写的人格档案中提取行为证据，校准合成数据的真实性。四类评估环境（Survey / AI Chatbot / Web / App）和 25+ 领域 1,010 项任务构成完整的评估基础设施。Claude Opus 4.8 / GPT 5.5 / Claude Haiku 4.5 三个 LLM 驱动人设智能体，18,189 次评测试验捕获了决策和偏好的跨人格差异（如涨价后的犹豫、AI 失败后的继续意愿、延迟容忍度等）。

对大模型数据工作的影响

MatrAIx 的方法论价值不在于”83 亿”这个数字，而在于双路径合成范式：依赖图约束统计合理性 + 人工锚定校准行为真实性。这对任何需要覆盖人群多样性的合成数据生成（用户模拟、偏好建模、公平性测试）都提供了可复用的架构。更重要的是，它揭示了合成人格数据的一个关键权衡——公开核心集（100 万）与受控全量（83 亿）的双层访问模式，既保证研究可用性又防范大规模人格模拟的滥用风险。对数据工程的启示：大规模合成数据的治理应内建于管线设计而非事后补救，MatrAIx 的”质量过滤核心集 + 受控全量”模式可推广至其他敏感领域合成数据。