数据工程观察 · 2026年09月07日

本批 arXiv 投稿集中在同一个问题上：训练数据不够时，还能不能从已有的材料里再榨出一层。终端智能体把固化的执行轨迹还原成可以反复查询的环境，图像生成用真实图占比 98% 的两阶段课程替代了早期对配对数据的依赖，机器人侧则直接从互联网视频里检索人类操作演示。语料分发与工具层面，K2 Horizon 把预训练语料切成可独立加权的分片公开，Polars 2.0 用一个默认行为变更提醒管线作者：性能提升的代价可能是行顺序不再确定。

Terminal-Universe：把一条执行轨迹还原成一个可反复查询的环境

事件概述

终端类代码智能体已经积累了大量轨迹，可执行的真实环境却一直稀缺。Terminal-Universe 反过来做——不从头造环境，而是从轨迹里的工具调用历史反推出它当初运行在哪样的环境里。

技术细节

框架重放轨迹中记录的文件操作，把每个文件恢复到智能体修改之前的状态，得到一个局部工作区；补完 agent 再补齐缺失的文件和依赖。在这个还原出来的工作区上，既重建原始任务，也合成全新任务，并沿两个方向放大：广度上挖掘相关环境之间的有向依赖关系，合成跨代码库的查询；深度上把单轮查询扩展成多轮会话，由 user agent 模拟迭代反馈和需求细化。应用到公开的终端智能体轨迹后，产出 37.3k 个任务自足环境。用这份语料对 Qwen3.5-27B 做监督微调，Terminal-Bench 2.1 单轮提升 11.9 分，EvoCode-Bench v2 MT@4 多轮提升 13.8 分。

对大模型数据工作的影响

一条轨迹通常只能当一条冻结示范用一次，环境则可以被反复查询成许多可验证任务并提供执行反馈，这份工作把前者批量换成了后者。做智能体后训练数据的团队手里，已有轨迹日志不再是消耗品，而是环境合成的原料；跨工作区依赖关系的挖掘也给出了一条不靠人工标注来扩充任务难度的路径。

相关链接

• 论文：https://arxiv.org/abs/2609.04148
• Hugging Face Papers 页面：https://huggingface.co/papers/2609.04148

LLaDA-Image：220M 样本里 98% 是真实图像，配比按训练阶段分层

事件概述

LLaDA-Image 把 6B 扩散 Transformer 从零训练出来，配上基于 LLaDA2.0-Mini 的冻结视觉语言理解模块，权重、训练代码和配方一并公开。数据部分是这次发布里信息量最大的一块。

技术细节

管线从一开始就不重度依赖图文配对数据，先用纯图像预训练和中期训练建立视觉生成先验。训练样本共 220M，其中 98% 为真实图像，支持纯图像训练的样本占总量的九成以上，预训练与中期训练阶段只用真实图像。进入配对 SFT 后真实图像占比仍保持在 70% 以上，数据被组织成自然、设计、人物、合成内容四组。优化侧用无参数 RMSNorm 配 Muon 优化器，并蒸馏出 2-4 步推理的 Turbo 版本。Qwen-Image-Bench 上英文、中文赛道整体得分分别为 53.53 与 53.38。

对大模型数据工作的影响

值得记的是分层方式，不是总量。真实数据占比随训练阶段变化：前期纯图像，后期配对仍保住七成真实，合成内容只在 SFT 阶段按内容组引入。这种把「合成数据放在哪一段」当成显式设计变量、并把每一层占比写进技术报告的做法，比只公布一个总量更能支撑复现。生成方向如此，语言模型侧的中训练数据配比也面临同样的选择。

相关链接

• 论文：https://arxiv.org/abs/2609.03796
• 全文 HTML（配比分段表述见 Data 与 Conclusion 两节）：https://arxiv.org/html/2609.03796v1

RoboTok：从互联网视频里检索人类操作演示

事件概述

机器人学习需要的演示数据越来越广，真机采集却贵，也覆盖不到长尾任务。RoboTok 建了一条互联网规模的数据引擎：给定一段查询用的人类操作视频，从网络视频中检索出与操作相关的演示，供策略训练使用。

技术细节

核心是从 3D 手部轨迹学出的隐空间，轨迹表示在以操作者为中心的参考系中。这样处理后，操作行为可以在相机视角、场景外观、人物遮挡都不同的条件下互相比较，表示本身又足够紧凑，能在互联网量级的视频集合上做检索和持续建索引。论文在检索基准和下游策略表现两个层面与已有机器人数据检索方法做了对比，检索相关性更高，下游任务成功率也更高。

对大模型数据工作的影响

把 web 视频当成可持续增长的监督来源，关键是检索信号怎么选。RoboTok 没有走语义相似度，而是用手部轨迹这种与执行直接相关的量做匹配，等于把「这条数据对策略有没有用」前置到了采集阶段。对具身数据管线来说，这类与动作对齐的检索特征，比按场景或物体类别筛视频更贴近训练目标。

相关链接

• 论文：https://arxiv.org/abs/2609.03199
• Hugging Face Papers 页面：https://huggingface.co/papers/2609.03199

K2 Horizon / TxT360-v2：预训练语料按域切成可独立加权的分片

事件概述

IFM 在 Hugging Face 上放出 K2 Horizon 训练数据系列，TxT360-v2 是其中的网页与问答文本部分，另有 Code-Reasoning、Math-Reasoning、SFT-Reasoning、Pretrain-Behaviors 四个仓库，分别覆盖代码推理、数学推理、指令微调和面向行为的预训练数据。

技术细节

TxT360-v2 分三个子集：web-high-medium 770M 行、txt360-qa 581M 行、web-high-nltk-qa 484M 行，全部为 Parquet 分片，采用 CC BY 4.0 许可。记录保留来源元数据，含语种与语种置信度、原始 URL、抓取时间戳、Common Crawl 路径和质量信号，可用于按来源做二次筛选。分片名由源文件名加稳定 ID 组成，更新单个源文件只替换对应分片。数据卡写明各子集可能分别做过过滤、清洗、去重、质量打分或合成数据生成，要求使用者自行核验来源元数据。

对大模型数据工作的影响

把语料按域拆成独立仓库、每个仓库再拆子集，实际上把采样权重的决定权交给了使用者——子集可以单独流式加载，也能按自定义权重混合。来源字段一直保留到 Common Crawl 路径这一层，意味着去重和内容过滤可以在下游按自己的标准重跑，不必依赖发布方的处理结果。这类可追溯、可重配的发布形态，正在成为开放预训练语料的默认要求。

相关链接

• 数据集：https://huggingface.co/datasets/IFM/TxT360-v2
• K2 Horizon 系列：https://huggingface.co/collections/IFM/k2-horizon

Polars 2.0 RC：流式引擎成为默认，行顺序不再保证

事件概述

Polars 2.0 首个发布候选版在上周放出，对 LazyFrame 查询调用 collect 时默认改用流式引擎。代价是 join、group_by、unpivot 等操作不再保证返回行的顺序。

技术细节

流式引擎按批处理数据，能跑内存装不下的数据集，官方称多数查询在内存和性能上都有明显改善，聚合场景「轻松快 5 倍」。2.0-rc 升级指南用红色危险框标出迁移风险，承认这一改动可能无声地影响管线结果。规避方式有三条：显式排序、在支持的操作上设 maintain_order=True、或通过引擎亲和性设置把内存引擎改回默认。2.0 一并收紧了类型转换，要求用 .str.to_date()/.str.to_datetime() 解析时间字符串。

对大模型数据工作的影响

训练数据管线里依赖偶然顺序的地方比想象中多：按行号切分训练集与验证集、依赖 group_by 输出顺序做样本配对、把去重后的行序当成稳定标识，都会在引擎切换后静默变化，且不报错。升级前需要把显式排序补进关键步骤，或者固定住引擎，否则同一份代码在两个版本上产出的语料可能不同，这类差异往往要等到训练结果异常才会被发现。

相关链接

• The New Stack 报道：https://thenewstack.io/polars-streaming-row-order/
• Polars 2.0 发布说明：https://pola.rs/posts/announcing-polars-2/
• 2.0 升级与迁移指南：https://docs.pola.rs/releases/upgrade/2/