章节导航 第 27 章 / 共 30 章
具身智能与机器人数据
真机、仿真、互联网视频三层数据金字塔：Open X-Embodiment、AgiBot World、世界模型与 sim-to-real 的完整工程体系。
“全球工业机器人部署量已突破 390 万台，而最大的公开机器人操作数据集只有约 100 万条轨迹——数据规模落后硬件整整一个数量级。”
文本模型的数据瓶颈是”高质量文本快用完了”（第 1 章的枯竭曲线），具身智能的数据瓶颈更原始：数据几乎还不存在。互联网上没有”机器人手抓杯子”的力矩序列，遥操作采集一条真机轨迹的成本是抓一条网页的百万倍。这一章讲这个从零造数据的领域：三层金字塔怎么搭、仿真合成怎么补位、世界模型怎么变数据工厂、VLA 模型怎么消化异构机器人数据。
27.1 数据金字塔：真机、仿真、互联网视频
具身数据工程的基本框架是一个三层金字塔，每层的成本、保真度、规模相差悬殊：
| 层 | 代表 | 成本 | 保真度 | 规模上限 | 核心价值 |
|---|---|---|---|---|---|
| 真机数据 | Open X-Embodiment、AgiBot World | 极高（百元/条轨迹） | 最高 | 百万级轨迹 | 物理接触、多模态传感、真实扰动 |
| 仿真数据 | Isaac Sim、Genesis、RoboTwin 2.0 | 极低（$5000 可产 10 亿帧） | 受 sim-to-real gap 限制 | 无上限 | 任务多样性、域随机化、自动标注 |
| 互联网视频 | 人类操作视频、Ego4D | 低（爬取即得） | 间接（无动作信号） | 千万小时级 | 语义先验、动力学直观 |
为什么三层缺一不可：只用真机，多样性破产——100 万条轨迹摊到长尾任务上什么都不剩；只用仿真，接触动力学失真，部署到真机成功率断崖；只用视频，模型”看得懂”但”不会做”——视频里没有动作标签。当前所有头部方案都是三层混合：仿真打底、真机精修、视频注入语义。
真机数据怎么采：四种姿势
| 方式 | 原理 | 单条成本 | 质量 | 适用 |
|---|---|---|---|---|
| 拖曳示教 | 人直接掰机械臂 | 最低 | 动作平滑性差 | 简单重复任务 |
| 遥操作（从臂/外骨骼） | 双臂主从控制 | 中 | 高一致性 | 工业级批量采集 |
| 遥操作（VR/3D 鼠标） | 头显/手柄操控 | 中低 | 直观但抖动 | 灵巧手、人形 |
| 手持夹爪（UMI） | 人手拿通用夹爪”扮演机器人” | 低 | 需坐标重建 | 快速场景铺量 |
AgiBot World 用的是”专业遥操作员 + 标准化双臂平台 + 全流程质检”的工厂化生产：100+ 台机器人并行、每条轨迹带相机流/本体感知/语言标注，还刻意保留错误恢复片段（抓歪了扶正重来）——这些”失败-恢复”数据对策略鲁棒性的价值，对应第 19 章偏好数据里负样本的价值。
采集质量的四道关卡
遥操作轨迹不是采下来就能用。一条原始轨迹要过四道关卡才有资格进训练池：
第一关：动作平滑性。人手遥操作天然带抖动，而策略学习的是”动作分布”——把抖动学进去，真机上就会表现为高频震颤。标准做法是低通滤波 + 样条插值重采样，但要控制滤波强度：过度平滑会把”绕开障碍物的修正动作”滤成撞上去的直线，错误恢复片段尤其要温和处理。
第二关：时延一致性。遥操作链路（主臂 → 控制 → 从臂 → 传感回传）引入几十到上百毫秒时延。时延本身不可怕，可怕的是时延抖动——动作帧与观测帧的对应关系漂移，等于给 (观测， 动作) 对注入系统性错位。工程上要求控制频率稳定（常见 20-50 Hz）且记录每帧真实时间戳，训练前做时延对齐检查。
第三关：多传感同步。一条 VLA 训练样本通常要拼三路信号：多路相机流（30 Hz）、本体感知（关节角/夹爪，1 kHz）、有时还有触觉与力矩。三路频率不同、时钟不同，硬同步靠硬件触发（PTP 时钟同步/触发信号），软同步靠时间戳最近邻插值——但插值会伪造出不存在的中间状态，宁可丢帧也别插值动作。同步质量直接决定 imitation 学习的上限：观测和动作差 50ms，对慢任务无感，对快任务（抛接、抽取）就是致命噪声。
第四关：语言标注。轨迹本身没有语言，指令要靠后期标注。当前的主流管线是 VLM 预标注 + 人工复核：把轨迹首尾帧和任务上下文喂给 VLM 生成 2-3 条候选指令（中英双语），人工只做挑选与微调——纯人工写 100 万条指令不现实，纯 VLM 生成则会把”抓起杯子”泛化成”拿起桌上的容器”这类与轨迹细节不符的描述。标注质量控制的核心指标是指令-轨迹一致性：让标注好的指令过一遍动作可验证性检查（说了”从左往右推”，轨迹真的是向右的吗），这一步可以用动作方向/目标物体位置的变化自动审核。
互联网视频层怎么用：无动作数据的三个用法
金字塔最宽的一层（千万小时级人类操作视频）有个根本缺陷：没有动作标签。直接模仿不可行，但三个间接用法让它成为真机数据的重要互补：
- 感知底座预训练。把视频当无标注图像流，预训练视觉编码器（对齐语言后成为 VLM 骨干）——视频教会模型”手在做什么”的语义，这层能力可完整迁移给 VLA。这是用法最成熟、争议最少的一条。
- 潜在动作学习。不显式提取动作，而是训练模型预测”相邻帧之间的变化量”（AgiBot ViLLA 的潜在动作 token、VPT 的行为先验都属此类）——变化量不是真动作，但保留了”这一步手往哪移动”的因果结构，可作为 VLA 的预训练目标或辅助 token。跨视频学到的是”人类怎么操作”的分布先验，真机数据负责把它校准到具体本体。
- 伪动作标注。从人类视频提取手部姿态（MANO/关键点估计），映射到机械臂末端位姿（UMI 的思路：手持夹爪 + GoPro，直接”扮演”机器人采数据）——介于视频与真机之间，成本远低于机器人但带粗动作信号。质量天花板取决于姿态估计误差与手↔机械臂的形态差距（人手 21 自由度 vs 平行夹爪 1 自由度，映射必然有损）。
选型判断：预算有限先把 1 做透（几乎无风险），2 适合有预训练算力的团队，3 适合需要快速铺场景又买不起机械臂车队的团队。三者可以叠加：感知底座 + 潜在动作预训练 + 少量真机精修，正是当前头部 VLA 配方的通用结构。
缩放律证据：人类视频轴不是”越多越好”，而是有门槛的
上面三条用法此前只有定性判断。2026 年的 UniWAM（arXiv:2610.02054 v3）给了这一层第一条可引用的量化证据，而它的形状比”越多越好”复杂得多。
该工作统一了 physical reasoner + world generator + action predictor，并为人类第一视角数据与机器人数据各建了一套清洗与标注管线（这一点本身就是数据工程结论：两类数据不能用同一条管线处理）。它把低层动作表示成自然语言，并用 VQA 数据 / 人类第一视角数据 / 机器人示范分别给不同模型组件分配互补监督，以此在适应具身任务的同时保住继承来的语言能力（与本章 27.5”动作表示”一节的第 5 种方案呼应）。
规模实验的做法是：用 250 / 500 / 1k / 2.5k / 5k 小时机器人数据预训练，另一组在每组上再叠加等量的人类第一视角数据。结论分三段，后两段才是重点：
- 机器人数据本身：OOD 性能随规模单调上升，平均任务完成度从 250 小时的 0.35 升到 5k 小时的 0.67，在所探索区间内未见饱和。
- 人类数据的门槛：在小规模下，加入人类第一视角数据会损害性能；只有当机器人数据达到约 1k 小时之后，人类数据才开始产生增益，且增益随规模增大而变明显。作者的解释是：小规模下人类与机器人数据的视觉与物理差异会阻碍跨分布学习，而大规模数据才使跨本体的共享世界动力学得以迁移。
- 缩放律：把收敛时的验证损失对数据规模作图，得到一条很干净的对数线性关系 ——
L(D) ≈ 0.03205 − 0.00302 ln(D)，其中 D 是机器人 + 人类预训练数据的小时数，拟合R² ≈ 0.983。作者还指出这条离线缩放趋势紧密跟踪真实机器人表现，因此验证损失可作为具身控制能力的指示器。
对选型判断的修订：本章 27.2 已有的”数据规模—策略性能幂律（r=0.97）“讲的是真机数据这一条轴；UniWAM 补的是人类视频这一条轴。合起来是二维的，但两条轴的形状不同——真机轴在所探索区间内单调且无饱和，人类视频轴有门槛：
可执行判据：人类第一视角数据不是”免费加料”。在真机数据不足约 1k 小时时，混入人类数据可能反向；先确认你的真机数据规模已过门槛，再考虑叠加。反过来，这也给了预算有限的团队一条路径判断：真机数据还很少时，把钱花在扩真机规模上，比花在爬人类视频上更划算。
⚠️ 回源状态：该工作为预印本（v1 2026-10-01，v3 2026-10-08），缩放律的系数取自 v3 正文式 (10)；“1k 小时门槛”是该实验设置下的观测点，不同本体与任务下门槛位置会移动，不要当作通用常数。
27.2 真机数据集全景：两大流派
Open X-Embodiment：跨本体广度路线
Google DeepMind 联合 21 家机构的项目，把各家的机器人数据统一成 RLDS 格式：约 140 万条轨迹、22 种机器人本体、217 种技能、311 种场景。它的历史贡献是确立了”跨本体数据混训”范式——RT-X 项目证明：多个机器人的数据合在一起训练，每个机器人的策略都变强了（正迁移确实存在）。
但后续研究揭示了边界条件：
- 模型容量决定跨本体效果：小模型在大规模异构数据上欠拟合（OXE 自己的发现）——数据多样性是给大模型吃的补品，小模型吃了消化不良。
- 跨本体预训练可能有害：Galaxea 的工作发现，先用单本体数据预训练再迁移，好于直接在混合本体数据上训练——“广度”不是免费午餐。
- 统一动作空间是必要非充分条件：UniHand 2.0 把 30 种异构机器人对齐到统一动作槽位，仍需要 MoF（Mixture-of-FineTuning）之类的架构设计才能真把迁移做实。
AgiBot World：单本体深度路线
智元机器人 + 上海 AI 实验室的产物，100 万+ 条真机轨迹（2976 小时），来自 100+ 台同款双臂人形机器人，覆盖家居/餐饮/工业/商超/办公五大领域、76+ 种技能。配套的 GO-1 基础策略证明了数据规模与策略性能的幂律关系（r=0.97）——具身智能第一次拥有了自己的 Chinchilla 曲线（呼应第 2 章）。
许可注意：CC BY-NC-SA 4.0，仅限非商业使用——真机数据的采集成本决定了它很难像文本数据那样彻底开源。
采集本体必须分版本看，这是本章最容易踩的一处事实坑。 上面 100 万+ 轨迹对应的是初版，采集于 AgiBot G1 平台；AGIBOT WORLD 2026（HF agibot-world/AgiBotWorld2026）采集于 AGIBOT G2 平台，官方数据集卡的原文是 “Collected on the AGIBOT G2 robot platform”。两个本体的运动学、相机位姿与传感配置都不同，混用时跨本体迁移实验的可比性会出问题——引用前先确认手里是哪一版。
2026 版相对初版的变化不在规模，而在数据的可消费形态（以下均为数据集卡一手字段）：
- 按主题分批发布：仓库顶层分为
ImitationLearning、ReinforcementLearning、RichInteraction、simulation四类，强化学习主题的自述文件标题为 “Theme 3”，可见是分主题滚动发布而非一次性发布。 - 三类轨迹并存（RL 主题）：
ExpertDemonstration（遥操作专家示范）、HG-DAgger（部署策略先执行、操作员在需要纠正时介入的人机闭环轨迹）、Rollout（部署策略产生的成功与失败 rollout）。 - 新增力相关观测：
end.wrench（末端力/力矩）与joint.effort（关节力矩），此前公开版本没有力通道。 - 干预与结果字段：
intervened（该步是否被操作员接管）、succeed、reward、done、truncated。 - 标注从”一条轨迹一段话”升级为三层：任务帧（子任务段 + 自然语言指令）、2D 包围盒（对象标签 + 归一化框 + 相机来源）、步进指令段（技能标签 + 逐步指令 + 帧区间）。
- 过程标签显式覆盖失败与扰动：内置
Error Frame、Intervention Frame、Success Frame等帧类型，frame_detail带error_cause与restorable；RL 主题另有Adversarial disturbance标签，标记执行中人为引入的外部扰动区间（官方例子：衣服拉链拉上后，操作员在任务执行中又把它拉开）。
这批字段的意义在 27.6 展开——它们决定了同样一条真机轨迹，是只能喂给模仿学习，还是能直接喂给 DAgger 与离线 RL。
补一组量级，并顺带给 27.6 的主张配证据。 上面这段全程没有数字，现在可以补上：
| 项 | 数值 | 说明 |
|---|---|---|
| Theme 3（RL 主题）真机轨迹 | 11,430 条 / 14 个工业与家居任务 | 分主题滚动发布 |
| 自主策略 rollout：成功 | 1,024 条 | |
| 自主策略 rollout：失败 | 1,369 条 | 失败多于成功 |
| 第三类轨迹 | 人机接管纠正（HG-DAgger） | 见上 |
最值钱的是那一行”失败 1,369 > 成功 1,024”：本章 27.6 主张”失败比成功值钱”，此前只有 AgiBot”刻意保留错误恢复片段”这一定性说法，没有数据。这是该主张首个可引用的量化证据——一个面向 RL 的真机数据集，公开的失败 rollout 条数确实多于成功 rollout。
⚠️ 计数单位必须写清（本轮最需要防的一处误读）：第三方盘点给出的仓库量级是
agibot-world/AgiBotWorld2026= 102,078 episodes / 13.6 TB（G2 平台，CC BY-NC-SA 4.0，7 路相机 + 216 维观测状态，逐帧带reward/done/succeed/intervened/truncated/action_prob）。它与本章前文”初版 100 万+ 轨迹（G1，2976 小时）“差一个数量级——二者极可能是 episode 与切分后的 trajectory 两种计数单位（本章已提到官方split_episode.py会把长时域轨迹切成单指令 episode）。引用时必须写明是哪一个，否则会读出”2026 版缩水 10 倍”的错误结论。以上数字来自公开报道与 FiftyOne 博客转述，尚未回 HF 数据集卡逐项确认，正式引用前请核对。
数据集选型速查
| 需求 | 推荐 | 理由 |
|---|---|---|
| 训练通用 VLA 基座 | AgiBot World + OXE | 规模大、任务多样 |
| 低成本快速原型 | GraspVLA (SynGrasp-1B) / RoboTwin 2.0 | 纯合成，成本极低 |
| 跨本体泛化研究 | UniHand 2.0 / OXE | 多本体 + 统一动作空间 |
| 双臂协作任务 | RoboTwin 2.0 / AgiBot World | 专门的 双臂支持 |
| 长时域移动操作 | Galaxea | 开放世界长任务 |
| VLA 能力系统评估 | VLABench | 系统化能力维度定义 |
其余值得记住的名字：DROID（76K 轨迹/564 场景/50 个采集者，in-the-wild 标杆）、RoboMIND 2.0（31 万轨迹/739 任务）、Humanoid Everyday（人形日常操作）、RH20T（触觉+视觉+音频多模态同步）。
真机数据的集装箱：RLDS 与 LeRobot
数据集之间的格式壁垒曾是跨本体混训的第一道墙——每家实验室的数据用自家的 Rosbag/MF/HDF5 方言存储，光是解析对齐就要吃掉一个工程师一个月。两个格式标准解决了这个问题：
| 维度 | RLDS | LeRobot |
|---|---|---|
| 背景 | Google（基于 TFDS 生态） | Hugging Face 机器人团队 |
| 存储 | TFRecord + protobuf | Parquet（表格）+ MP4（视频） |
| 生态 | RT-X/OXE 官方格式 | AgiBot World 2026 版官方提供转换 |
| 优势 | 学术界复现实验的事实标准 | 流式加载、训练吞吐高、社区工具全 |
| 劣势 | TF 生态绑定、读取慢 | 较新，部分旧数据集无官方版 |
两者的设计哲学差异值得注意：RLDS 把每一步观测/动作存成 protobuf 记录，完整性优先（任何字段都能取）；LeRobot 把视频和状态分离（MP4 存帧、Parquet 存状态-动作对），吞吐优先——训练时按 episode 索引随机访问视频帧，配合 chunk（分块）目录结构，百 GB 级数据集可以像 HuggingFace 数据集一样流式训练，不必全量下载。
工程提醒三点：视频编码是训练吞吐的隐形瓶颈（VLA 训练大量时间花在解码上，可用低 CRF 编码 + 帧缓存缓解）；原始传感层别丢（转换成标准格式时保留一份原始 rosbag/mcap，插值策略升级后要能重算）；版本要钉死（LeRobot v2 与 v3 目录结构不兼容，跨版本转换是 2026 年社区高频踩坑点）。
“版本要钉死”这条有个现成的例子：AGIBOT WORLD 2026 数据集卡标注的是 LeRobot v2.1，不是最新的 v3。也就是说”用 LeRobot 格式”这个说法本身不够精确，版本号必须一起写进数据契约。配套工具也随版本走——官方提供的 split_episode.py 把长时域轨迹切成单指令 episode 时会丢弃扩展标注字段，实验若依赖上面那三层标注，就不能用切分后的版本。
但”钉死版本”只是结论，读者真要迁一个数据集时会撞墙——迁移路径本身是个坑。 LeRobot 的跨版本迁移不是一步到位，而是两级梯子，且不能跳级：
v2.0 ──(lerobot 0.3.3)──> v2.1 ──(lerobot 0.6.1, 2026-08-03)──> v3.0
重写 meta/episodes_stats.jsonl scripts/convert_dataset_v21_to_v30.py
改 codebase_version 可用 --root 配合 --push-to-hub=false 离线跑
⚠️ 该步需要 Hub 可达不存在一步到位的 v2.0 → v3.0（0.5.1 里相关路径已被标为 NotImplementedError）。真正的麻烦在第一级：v2.0 → v2.1 那一步需要 Hub 可达，在私有网络 / 内网环境里跑不了。也就是说，一个离线集群拿到 v2.0 数据集时，它连梯子的第一级都上不去。
更麻烦的是”最想用的恰好是最难迁的”。一份按下载量排序的 2,000 行目录抽样审计显示：版本分布为 v2.1 49.97% / v3.0 45.76% / v2.0 4.21%——v2.0 只占 4% 的行数。但按下载量加权，那 73 行 v2.0 占全部下载量的近一半，最常被下载的 7 个数据集里有 5 个是 v2.0（例如 IPEC-COMMUNITY/language_table_lerobot 442,226 episodes、IPEC-COMMUNITY/droid_lerobot 92,233 episodes / 27,044,326 frames、physical-intelligence/libero 1,693 episodes）。
工程含义（与 27.4 那条”数据契约先于采集”是同一原则的具体条款）：采购或自建数据集前，把 codebase_version 写进数据契约，并且把”迁移要几跳、哪一跳需要联网”一并评估。一个”格式是 LeRobot”的数据集，与一个”是 LeRobot v3.0、或两跳内可离线迁到 v3.0”的数据集，工程成本不是一回事。
⚠️ 回源状态：版本号（0.3.3 / 0.6.1）与脚本名（
convert_dataset_v21_to_v30.py）尚未回 PyPI / GitHub 核实，来自第三方审计博客；2,000 行的版本分布是抽样而非全目录，引用时须标明。落地前请先核对这两项。
27.3 仿真合成：把数据成本打到地板
五大仿真平台
| 平台 | 背景 | 杀手锏 | 短板 |
|---|---|---|---|
| NVIDIA Isaac Sim/Lab | Omniverse | GPU 并行数千实例、合成数据生成、数字孪生 | 生态绑定 NVIDIA |
| MuJoCo（MJX/Warp） | DeepMind 开源 | 广义坐标+接触优化，GPU 加速后成 RL 训练标配 | 渲染保真度一般 |
| Genesis | 2024-25 新星 | 多求解器（刚体/MPM/SPH/FEM）、生成式物理、宣称快 10-80x | 生态年轻 |
| SAPIEN | 北大/加州团队 | 关节铰链物体（抽屉、门、可动零件） | 社区规模小 |
| PyBullet | 老牌 | 简单易用 | 已停止积极演进 |
2026 年的新变量是 Newton：NVIDIA + Google DeepMind + Disney Research 联合、Linux 基金会托管的 GPU 加速可微物理引擎——物理仿真从”验证环境”升级为”可梯度优化的一环”，让”用物理引擎直接反推可行的操作轨迹”成为可能。
合成数据的两个范本
GraspVLA / SynGrasp-1B：纯合成的极限。PKU-EPIC 用 Isaac Sim + CuRobo 运动规划 + 域随机化渲染，约 $5,000 成本产出 10 亿帧抓取数据（1 万种物体）。关键战绩：透明/反光物体抓取成功率 86.6%——这类视觉上最难的物体，恰恰因为渲染管线完全可控（透明度、光照随便随机），合成数据反而是最优解。
RoboTwin 2.0：混合配方。MLLM 生成任务代码 → 仿真验证闭环 → 731 种物体 / 50+ 双臂任务。最惊人的数字：10 条真实轨迹 + 1K 合成轨迹 = 相对提升 367%——少量真机数据”校准”仿真分布，把 sim-to-real gap 从悬崖变缓坡。
Sim-to-Real 四策略
| 策略 | 代表 | 效果 |
|---|---|---|
| 域随机化 | GraspVLA、RoboTwin 2.0 | 视觉/物理参数大范围随机，真机成为仿真分布的一个样本 |
| 少量真实 + 大量合成 | RoboTwin 2.0 | 10 真 + 1K 合成的 367% 配方 |
| 纯真实 | AgiBot World、Galaxea | 无 gap 但成本高 |
| 混合比例控制 | UniHand 2.0 | 仿真控制在 ~26%，人类视频补语义 |
域随机化到底随机什么
“域随机化”四个字容易被理解成”把所有参数调乱”。实际工程里它是一份逐参数设定范围的清单，每个参数的随机幅度都经过 ablation 校准：
| 参数类 | 典型随机项 | 典型幅度 | 随机过度症的代价 |
|---|---|---|---|
| 光照 | 强度/色温/方向/环境光 | 强度 ±50%，色温全谱 | 过强 → 策略放弃视觉线索，改用本体感知死记轨迹 |
| 纹理材质 | 物体/桌面贴图随机替换 | 每 episode 全换 | 过强 → 物体辨识能力退化 |
| 相机位姿 | 位置/朝向抖动 | ±10cm / ±15° | 过强 → 标定外参失去意义 |
| 物理参数 | 质量/摩擦/质心 | 质量 ±30%，摩擦 ±50% | 过强 → 接触动力学学成”什么都可能发生” |
| 控制器 | PID 增益/执行时延 | 时延 ±20ms | 过强 → 高速任务 Impossible |
| 干扰物 | 桌面随机摆放无关物体 | 0-10 个 | 过强 → 任务成功率本身塌掉 |
最后一列是关键：每个参数都有一条”随机过度”的悬崖。随机化的目的是让真机落入仿真分布内，而不是把仿真分布摊成均匀噪声——摊得太开，模型学到的唯一鲁棒策略就是”什么都不做”。判断随机幅度是否合理的实操标准：在仿真内做留出验证（holdout 一组未随机过的参数配置），策略在留出组上的成功率不应显著低于随机组；如果显著更低，说明策略过拟合了随机分布的”平均值”而非学会了任务本身。
资产从哪来：物体资产的三条供给线
仿真合成的隐性瓶颈常常不是渲染或物理，而是物体资产——1 万种物体从哪来：
- 人工资产库：PartNet-Mobility（2346 个带关节铰链的物体，抽屉/门/微波炉）、ShapeNet——质量最高但规模到顶。
- 大规模 3D 库：Objaverse / Objaverse-XL（千万级物体），量大但质量参差，需要自动筛选（几何完整性/watertight 检查、物理合理性——质心不能在物体外面）。
- 生成式资产：image-to-3D 模型（TRELLIS 类）从一张照片生成可导入物理引擎的网格——这是 2025-26 年资产供给的增量来源，让”看到什么就能仿真什么”。生成资产必须过可仿真化改造：补碰撞体、估质量分布、简化网格到物理引擎可承受的面数。生成资产的质量审计（几何破洞、非流形、穿模）本身成了一个新的数据质检岗位。
27.4 世界模型：数据工厂的新形态
2026 年具身数据工程最大的增量来自世界基础模型（World Foundation Model）。
NVIDIA Cosmos 的定位是把”视频生成 + 物理仿真 + 推理”打包成合成数据生产平台：从少量真实演示出发，生成海量物理上大体合理的机器人操作视频，用于 VLA 预训练与策略评估。Cosmos 3 更进一步统一 VLM、视频生成、世界模拟与世界动作为单一 omnimodal 架构。配套的 Isaac GR00T 人形基座模型（N1.7）已经用 Cosmos-Reason + Qwen3-VL 做骨干。
世界模型数据的三个用途：
- 预训练扩充：真实轨迹 1:100 兑水合成视频，策略的视觉泛化显著提升。
- 策略评估器（Model-based eval）：部署前先在世界模型里”过一遍”，预测成功率——比真机试错便宜三个数量级。
- 反事实数据：同一初始状态、不同动作分支的后果生成——这是真机永远给不了的”平行世界”数据，对学习因果和恢复行为价值极大（呼应第 25 章标注方法论里”反事实标注”的思路）。
必须泼的冷水：世界模型生成的视频在接触动力学细节上仍然不可靠——柔软物体形变、精确力矩、摩擦突变。当前的最佳实践是把世界模型当”视觉多样性放大器”，物理正确性仍由真机数据和可微物理引擎背书。
第二个失效维度：3D 几何一致性（逐帧成立，跨帧不成立）
上面那盆冷水泼的是物理维度。还有一个与之独立的维度，2026 年才被明确提出来。
DepthWorld（arXiv:2610.08780，CoRL 2026）指出：现有基于视频的世界模型只在 RGB 上训练，其 rollout 逐帧看起来正确，却组合不成一个一致的 3D 世界——而策略评估、策略改进、规划这三类用途全都依赖忠实的 3D 几何。这句话值得和本章”三个用途”对照读：用途 2（策略评估器）与用途 3（反事实数据）恰恰是最依赖几何的两个，而它们正是被这个失效打击的。
该工作从两头发力：
- DROID-3D 标定管线——学习式立体深度 + 联合因子图，把同一台物理机器人采集的所有 episode 汇聚起来，同时恢复该机器人共享的运动学参数与每场景外参，产出稠密度量深度与重标定后的多视角外参（外部相机 90% 的 episode 重投影误差 <0.7 px）。
- DepthWorld 模型——基于 Stable Video Diffusion，冻结预训练 VAE，用 spatial latent tiling 联合预测多视角 RGB 与深度。
最反直觉的那个数字在这里：加入深度监督后，RGB 预测本身也提升了 +1.48 dB PSNR（同等训练预算、相同 RGB-only 基线对照），同时白送一套可用于几何推理的度量深度。也就是说，深度监督不是”用 RGB 性能换几何”，而是两边都涨。
与前一节”冷水”的关键差别：接触动力学那一类没有现成补救（只能靠真机与可微物理背书），而 3D 几何这一类有——加深度监督 + 跨 episode 联合标定即可。因此这两条边界要分开写在用途清单上：
选型判据：若你的用途是策略评估或规划（依赖几何），优先选带深度 / 3D 监督的世界模型——否则”预演成功率高”只是逐帧好看；若只是视觉多样性扩充（用途 1），纯 RGB 即可，不必为几何付这份成本。
世界模型数据质检管线
“10 万条生成视频直接倒进训练池”是 2026 年已知的反模式。世界模型数据需要一条独立的质检管线（这是课后练习 3 的正文展开）：
第一层：物理一致性 + 跨帧几何一致性（本层 2026-10 扩写）。把生成视频的初始状态与动作序列喂回物理引擎重放，逐帧比对物体位姿——偏差超过阈值（如关键物体位移 >5cm）判为物理不合理。这一招抓的是最危险的错误：穿模、物体悬空、滑动方向与受力矛盾。
但这一招是逐帧的，它有结构性盲区：抓不到”每一帧都合理、却拼不成同一个 3D 场景”。世界模型只在 RGB 上训练时，这类错误恰恰是主要失效模式（见上一节）。因此本层要补一条跨帧检查——用学习式深度或多视角外参做跨帧 3D 重投影一致性检验：同一物体在相邻帧的 3D 位置是否连续、不同视角的观测是否自洽。可用的判据形式是重投影误差的分位数（DepthWorld 的 DROID-3D 标定管线给出的参照是：外部相机 90% 的 episode 重投影误差 <0.7 px）——注意这是真机标定数据达到的水平，生成视频达不到这个数不代表它坏了，但误差分布明显长尾就说明 3D 不自洽。
第二层：运动学统计检验。对全量视频统计光流速度/加速度分布，与真机数据集的分布对比——生成视频常出现非物理的速度突变（帧间跳跃）或反常的平滑（动量守恒被破坏）。用分布距离（如 KL 散度）设定自动告警线。
第三层：时序质量。检测闪烁（相邻帧全局外观突变）、物体恒存性（物体中途消失又出现）、以及生成模型特有的”手指/夹爪形变”。
第四层：人工抽检 + 分层抽用。自动管线之后仍要人抽检 1-2%，因为”物理上合理但语义上荒谬”（机器人把空气抓起来还成功了）只有人能稳定识别。通过的样本分层使用：视觉多样性用途（占大头）放宽标准，接触动力学用途（用于训练精细操作）只保留通过物理重放检验的头部样本。
成本参考：这条管线每小时可筛千条级视频，拒绝率通常在 15-40%——世界模型的产出也要过数据工程，“生成即合格”是错觉。
27.5 VLA 数据工程：异构数据的消化系统
VLA（Vision-Language-Action）模型把第 22 章 Agent 数据的思想搬进物理世界：感知（视觉）+ 语义（语言）+ 行动（控制）统一在一个 Transformer 里。它的数据工程有三个特有难题。
动作表示：异构本体的”分词器”
22 种机器人本体，有的报末端位姿，有的报关节角，有的报夹爪开度——这就是具身版的”分词不统一”问题（第 9 章）。四种解法：
| 方法 | 代表 | 优势 | 劣势 |
|---|---|---|---|
| 7 维 EEF 端位姿 | OXE、AgiBot、GraspVLA | 简单通用 | 不强制坐标系对齐，跨本体仍有歧义 |
| 统一槽位 | UniHand 2.0 | 物理语义对齐 | 固定维度限制扩展性 |
| 形态适应 | RoboTwin 2.0 | 感知不同抓取形态 | 仅限双臂平台 |
| 潜在动作 | AgiBot（ViLLA 架构） | 桥接 VLM 与控制 | 需要额外训练动作 tokenizer |
类比第 9 章：动作 token 化之于 VLA，正如 BPE 之于 LLM——表示层统一是数据层混合的前提。
从轨迹到训练样本：分块与采样
轨迹是连续的，训练样本是离散的，中间的切分工程有两个决定成败的细节：
动作分块（action chunking）。主流 VLA 不做”单步预测”（每帧预测下一个动作），而是让模型一次预测未来一段动作序列（如 50 步，覆盖约 1-2 秒，π0 用流匹配生成连续动作块，ACT 用 CVAE）。分块的理由：① 抹平遥操作抖动（块内自洽比逐步预测平滑得多）；② 推理频率与控制频率解耦（模型 10 Hz 出块，控制器 50 Hz 执行块内插值）。数据工程的对应要求：切分边界要带重叠（滑动窗口，相邻训练样本共享动作段），且 episode 开头/结尾的截断块要打标记，否则模型会学到”任务从半截开始”。
多视角与历史窗口。标准 VLA 样本 = 多路相机帧（常见 2-3 视角：腕部 + 全局）+ 历史观测窗口 + 语言指令 + 动作块。视角数和历史长度直接乘进显存与吞吐——腕部相机对精细操作几乎是必需品，砍掉它换来的训练加速会在”插 USB 线”类任务上全额退还。
混训采样。多源数据混训时不能均匀采样：内部自采数据通常 2-5 倍于公开数据集的采样权重（GR00T N1 类基座采用带 tag 的分桶采样，按 domain/skill 控制 exposure）。这与第 10 章的配比方法论一致，只是”领域”从网页换成了机器人本体与场景。
触觉、力觉与全身：正在长出来的数据维面
视觉-动作之外，三条新数据维面正在从”论文素材”变成”训练标配”：
触觉。GelSight 类视触觉传感器把接触压痕变成高分辨率图像，让”是否抓稳”成为可观测信号。RH20T 等数据集已同步采集触觉流，触觉 token 化后并入 VLA 的观测空间——对滑移检测、易碎物操作，视觉的盲区正是触觉的主场。
力/力矩。六轴 F/T 传感器数据是装配类任务（插销、拧螺丝）的隐形关键——视觉告诉模型孔在哪，力觉告诉模型是否已经卡住。目前主要作为辅助条件信号，规模化标注成本高。
人形全身数据。与操作数据不同，行走本身的数据瓶颈早已被仿真解决——Isaac Gym 类平台大规模并行 RL 让运动策略不需要真机轨迹（奖励函数即数据）。真正的稀缺在全身协同（走+搬+蹲的复合任务）：遥操作人形要靠全身外骨骼或动捕 suit，成本比双臂遥操作高一个量级，Humanoid Everyday 这类数据集就是在补这块。数据工程的判断：locomotion 靠仿真、manipulation 靠真机、全身协同是下一个遥操作工厂化的战场。
跨本体迁移的三个坑
OXE 确立混合训练范式后，后续工作挖出的坑值得逐一记下：
- 容量瓶颈：小模型 + 大规模异构数据 = 欠拟合。要么加大模型，要么按本体分组做 MoE。
- 负迁移：某些本体组合混训互相拖累（Galaxea 发现），需要数据分组的消融实验把关——这本质是第 10 章配比问题在机器人域的重现。
- 动作空间对齐 ≠ 语义对齐：同样是”抓”，平行夹爪和五指灵巧手的轨迹分布天差地别。统一槽位解决了格式问题，解决不了语义问题。
评估：VLABench 的冷水
VLABench 系统定义了 VLA 的五个能力维度并给出残酷基线：当前最强 VLA 的 Progress Score < 15%——离”LLM 级泛化”还很远。加上行业第一份标准 YD/T 6770-2026（四大测试方法 + 五大核心指标 + 万余条任务库）在中国落地，具身智能终于有了统一的”考卷”。数据工程的含义：评估集本身就是稀缺数据资产，从第一天就要和训练数据隔离管理（第 29 章去污染的具身版）。
27.6 具身数据飞轮
把全书的”数据飞轮”（第 3 章、第 24 章）思想搬到具身域，闭环是这样转的：
真机部署（真机数据 + 在线失败案例）
│
├─ 失败案例 → 遥操作补采 / 世界模型反事实扩充 → 修正数据
│
├─ 策略自主探索（ASPIRE 范式：技能库 + 在线持续学习）
│ → 自主轨迹（带成功判据过滤）
│
└─ 世界模型扩充 → 合成预训练数据
│
▼
重新训练 VLA → 新策略部署 → 新一轮数据三个飞轮位点各有讲究：失败比成功值钱（错误恢复数据是 AgiBot 的刻意设计；量化证据见 27.2——AGIBOT WORLD 2026 Theme 3 公开 1,369 条失败 rollout > 1,024 条成功 rollout）；自主轨迹必须带硬判据（任务完成信号或人类远程裁决，否则自我强化漂移——与第 21 章 RLVR 的可验证奖励同理）；世界模型每轮重置温度防止合成分布坍缩。
自主轨迹的过滤细则值得展开（ASPIRE 范式的数据侧）：机器人自采的轨迹在入池前要过三道筛——成功判据（物体最终状态满足谓词，如”杯子在架上”），效率判据（完成时间不超过人类演示的中位数太多，防”绕路也能到”被学进去），多样性判据（与已有轨迹做嵌入去重，防策略反复采集自己已掌握的行为把数据分布越滚越窄）。三道筛的阈值要随轮次收紧：早期放宽换探索广度，后期收紧保分布质量——这就是第 21 章”课程化数据调度”在具身域的样子。
从”模仿学习语料”到”RL/DAgger 可用语料”，中间只差两个字段。 纯成功示范轨迹只能支撑模仿学习，因为它既不包含”什么情况下会失败”，也不包含”失败了怎么救回来”——模型只在成功分布上训练，一旦进入失败态就不知道怎么回来，这是模仿学习最典型的分布偏移来源。AGIBOT WORLD 2026 的 HG-DAgger 范式给出了标准解法：采集时让已部署的策略先在真机上跑，操作员只在需要纠正时接管，每一步打 intervened 标志。同一条轨迹由此一次采集、三种用法——自主执行段做 SFT 正例，人接管段正是 DAgger 需要的”专家在状态 s 上会怎么修正”的监督，reward 与 succeed 标志位可直接用于离线 RL 的奖励塑形。Rollout 目录里显式保留的失败轨迹补上最后一块：让模型见过失败态，也见过从失败态回到正常态的恢复段。
工程含义只有一句：采集协议里要给 intervened 与 reward 预留字段位置。事后补加等于重采——真机轨迹是全书最贵的一类数据，重采一次的代价远高于一开始就多定义两个字段。这与第 3 章”数据契约先于采集”是同一条原则，具身域只是把代价放大了几个数量级。
27.7 本章小结
- 具身数据金字塔三层：真机（高保真、百万级上限、工厂化遥操作采集）、仿真（零成本上限、$5000 产 10 亿帧）、互联网视频（语义先验、无动作信号）——三层混合是所有头部方案的共识。
- 真机两大流派：OXE 广度路线（140 万轨迹/22 本体/RLDS，跨本体混训有容量与负迁移坑）vs AgiBot World 深度路线（100 万轨迹/单本体/幂律 r=0.97）；10 真 + 1K 合成的 367% 配方是性价比之王。
- 仿真平台五强（Isaac/MuJoCo/Genesis/SAPIEN/PyBullet）+ Newton 可微物理引擎；域随机化让”视觉最难的物体”（透明/反光）反而成为合成的主场。
- 世界模型（Cosmos 类）是 2026 最大增量：预训练扩充、模型化评估、反事实数据三种用法；但接触动力学细节仍不可靠，物理正确性要靠真机背书。
- VLA 数据工程三大难题：动作表示统一（动作 token 化 = 具身版 BPE）、跨本体迁移（容量/负迁移/语义对齐三坑）、评估隔离（Progress Score < 15%，YD/T 6770-2026 首份行业标准落地）。
- 具身飞轮的独特位点：失败数据刻意保留、自主轨迹必须硬判据、世界模型防坍缩。
- 质量与基建四件套：采集四关（平滑/时延/同步/语言标注）、RLDS vs LeRobot 格式之争（吞吐优先的流式训练）、域随机化逐参数悬崖（过度随机 = 学会不作为）、世界模型数据四层质检（物理重放/运动学统计/时序/人工抽检，拒绝率 15-40%）。
- 数据维面扩展：动作分块（块内自洽 + 滑窗重叠）、触觉（视觉盲区的主场）、力觉（装配任务隐形关键）、人形全身（locomotion 靠仿真、manipulation 靠真机）。
课后练习
- 金字塔配比设计：为”家用场景双臂机器人”设计三层混合配比（真机/仿真/视频各占多少训练 token），说明每层解决什么能力、放弃什么能力，以及你如何验证配比是否合理。
- 跨本体消融：你要把 OXE 中 5 个本体的数据混训一个 Franka 策略。设计一个消融实验，判断其余 4 个本体是正迁移还是负迁移，并给出分组 MoE 的触发条件。
- 世界模型质检：你用 Cosmos 生成了 10 万条操作视频。设计一个质检管线，筛掉接触动力学不合理的样本（提示：物理引擎重放一致性、速度/加速度分布检验）。
- 思考题：为什么”10 条真实 + 1K 合成”能打败”纯 1.1K 合成”？用第 2 章质量感知缩放律的语言（数据分布 vs 目标分布的距离）解释这 10 条真实数据扮演的角色。