数据工程观察 · Vol.108

数据工程观察 · 2026年09月02日

LAION千万小时开源视频语料BVD补齐多模态预训练缺口、智元AgiBot World第三期开放真机RL经验轨迹（失败样本入集）、Grok 4.7用SpaceX工程数据做补充训练、Thomson Reuters以175年专有档案训练垂直模型

2026年9月2日数据工程视频语料 LAION 多模态预训练具身智能强化学习数据 AgiBot World 专有数据继续训练垂直模型 Thomson Reuters

9月第一周，数据工程领域的重心正在从”造更大的语料”转向”造更难获得的数据”：LAION 把开源视频语料推到千万小时量级，智元开源了真机强化学习的经验轨迹，xAI 和 Thomson Reuters 则分别在火箭工程数据和 175 年专业档案上验证了专有语料的继续训练价值。四条动态指向同一件事——数据的稀缺性正在从”规模”转移到”可获得的独占分布”。

LAION 发布 Big Video Dataset：千万小时开源视频语料补上多模态预训练缺口

LAION 发布 Big Video Dataset（BVD），8000 万条视频、总计 1000 万小时运行时长、5500 万条自动生成的剪辑描述，成为目前最大的开源视频研究数据集之一。在基准测试中，用 BVD 训练的模型比此前保持纪录的 InternVid 高出最多 2.1 个百分点。法律层面，LAION 依据 2024 年汉堡地区法院的裁决来支撑其数据收集方式，该裁决允许为非商业研究目的收集版权内容，为欧洲研究机构使用该数据集提供了合规锚点。

技术细节上，BVD 的价值不在原始视频堆积，而在 5500 万条自动描述剪辑：模型预训练需要的不是”视频文件”而是”视频-文本对”，自动描述管线决定了语料的可用密度。视频语料的处理成本远高于纯文本，抽帧、场景切分、描述生成、去重每个环节都是计算密集型，这解释了为什么开源社区在视频侧一直落后于文本侧（FineWeb 之于文本，此前视频侧没有同等物）。

对大模型数据工作的影响：多模态预训练的数据基座从”图文对 + 少量视频”进入”图文对 + 千万小时视频”阶段。视频数据工程的核心命题（FPS 采样策略、分辨率动态调整、时间定位标注）将随着 BVD 这类语料的普及从论文问题变成工程问题。数据团队需要补齐视频侧的清洗、去重（视频哈希比文本 MinHash 复杂一个量级）和版权过滤能力。

智元开源 AgiBot World 第三期：真机强化学习第一次有了系统化的经验数据集

智元机器人发布 AGIBOT WORLD 2026 第三期开源数据集，聚焦真机强化学习的经验数据。首批开源 11430 条轨迹，构成上与常见示教数据集有本质区别：1024 条成功 Rollout 轨迹（模型真实部署执行成功）、1369 条失败 Rollout 轨迹（部署执行失败）、以及专家示教和人类在环纠正轨迹。数据覆盖工业与家居场景下网线插接、钥匙开门等 14 类交互任务，并在轨迹上标注了进度、错误、成功与干扰四类细粒度信息。

这批数据的关键设计是”失败也是数据”。模仿学习时代的数据集只保留专家成功示范，而强化学习需要的恰恰是失败样本：模型的执行偏差、人类接管时刻、纠正过程，这些是训练奖励模型的直接素材。官方明确给出了用法：用轨迹级成败结果细化出过程反馈，训练不同维度的奖励模型，为真机 RL 提供可复用的数据基础。

对大模型数据工作的影响：具身智能数据工程正在复制 LLM 数据工程走过的路——从”只收好数据”（SFT 示教）到”好坏数据都要、且要标注清楚为什么好为什么坏”（RLHF/RLVR）。标注 schema 的设计（进度/错误/成功/干扰）比数据量本身更有长期价值，这个四元组标注框架值得做数据 schema 的团队直接参考。真机 RL 数据的采集成本比仿真高两到三个数量级，开源共享是摊薄成本的唯一路径，预计后续会有更多厂商跟进开放失败轨迹。

Grok 4.7 用 SpaceX 内部工程数据做补充训练：专有操作数据的继续训练模式成型

xAI 的 Grok 4.7 完成初始预训练后，正在吸收 SpaceX 的内部数据做补充训练，数据包括约 14000 至 15000 名员工的工作产出、Starlink 卫星遥测、火箭研发记录和失败日志。模型规模约 2.1 万亿参数，比 Grok 4.6 的 1.5 万亿增长 40%，发布窗口就在本周。这延续了 xAI 在 Grok 4.5 上验证过的模式：拿训好的基座模型，用一份外部拿不到的专有语料继续训练。上次是 Cursor IDE 的使用痕迹，这次是火箭公司的工程档案。

这个模式值得数据团队注意的地方在于语料性质。SpaceX 的工程记录是”操作数据”而非”写作数据”：遥测流、失败日志、研发文档的组合不是网络爬虫能覆盖的分布。xAI 的赌注是这类数据能让模型在真实工程推理（火箭遥测分析、失败归因）上产生文本训练无法获得的能力。这个假设尚未被独立验证，模型还没发布，没有第三方评测。

数据治理侧的争议同样重要：SpaceX 员工的工作产出被用于训练，没有披露任何退出机制，叠加 Grok 被指与 2026 上半年 87% 可溯源深度伪造攻击文件相关的报告，xAI 的数据实践在其发布周会持续承压。

对大模型数据工作的影响：如果这个模式跑通（发布后评测确实显示工程推理优势），“基座模型 + 领域操作数据继续训练”会成为垂直模型的标准路径。数据团队的对应动作是尽早盘点自己手里的操作数据资产：客服工单、运维日志、实验记录。这些数据在通用爬取分布之外，是继续训练阶段真正值钱的东西。

Thomson Reuters 发布 Thomson：175 年专有档案训练出的垂直模型接近前沿水平

Thomson Reuters 发布了以公司创始人命名的 LLM「Thomson」，从 Qwen3.5-397B 起步，用公司 175 年积累的法律、税务、会计和新闻数据训练，总投入约 4000 万美元。公司公布的基准测试显示其表现接近 Claude Opus 4.8——需要说明这是公司自己公布的分数，尚无独立测试佐证。

这个案例的看点不是模型本身，而是专有数据的价值兑现路径。法律、税务、会计三个领域恰好是”公开语料稀薄、专有档案深厚”的典型：判例文书、税务裁定、会计准则解读散落在 175 年的档案里，任何爬虫都拼不出来。Thomson Reuters 用 4000 万美元验证了这笔数据的训练价值，相比动辄数十亿的预训练投入，垂直领域的继续训练是笔划算的账。

对大模型数据工作的影响：出版商、律所、会计师事务所、医疗机构手里都坐着类似的数据资产。Thomson 的样板会推动一批”数据拥有方”从”把数据授权给模型厂商”转向”自己下场做继续训练”。数据工程侧的对应需求是：专有档案的数字化清洗（扫描件 OCR、格式还原）、领域知识的数据配比实验、以及法律合规审查（数据里包含客户信息时的脱敏与授权边界）。中文语境下，财经数据库、司法文书库、医疗档案同样具备这个潜力，缺的是敢投 4000 万美元的决策。