数据工程观察 · 2026年09月03日
哈佛把147万份历史报纸扫描件炼成163亿token、SolarWM用帧对齐契约统一十个视频来源、蚂蚁OmniTable以35PB宽表拿下VLDB工业最佳论文、SMELT在算力对齐下重拟合Scaling Law、微软StudentSim把稀疏个体数据变成可训练资产
9 月 3 日这批动态集中在两个问题上：怎么把”还不能用”的原始材料变成 token，以及语料规模涨到 PB 级之后怎么管住管线本身。前两条分别给出历史报纸扫描件和多源视频的具体做法，第三条是蚂蚁 35 PB 生产系统的工程复盘，后两条则分别把架构变量引入 scaling law、把稀疏个体数据变成可训练资产。
Institutional Newspapers Pipeline：147 万份历史报纸扫描件产出 163 亿 token，全流程跑在工作站上
哈佛 Institutional Data Initiative 与波士顿公共图书馆联合发布 Institutional Newspapers Pipeline，把 1795 至 1930 年间的 1,473,635 份公有领域报纸扫描件切成 8310 万个版面片段，逐块 OCR 后得到 163 亿个 o200k_base token，作为开放数据集发布。八位作者中包含 Jonathan Zittrain，管线、各环节训练的小模型与数据集一并开放。
这套系统的定位不是”更大”而是”更省”。每个扫描件依次走过版面切分、逐块 OCR、文本分析、类型分类、阅读顺序判定、命名实体识别、主题分类、语种检测和预计算 embedding 生成九个环节，硬约束是整条链路能在工作站级硬件上跑完。模块化换来的是每一步可解释、可替换——图书馆可以按自家馆藏特点换掉某个环节，不必接受黑盒输出。九个环节各自的评测结果、数据集规模的实测数据都写进了报告。
对大模型数据工作的影响：163 亿 token 相对万亿级预训练语料不算大，意义在它证明了机构馆藏这条数据路径能走通。图书馆、档案馆、博物馆手里有大量没进过任何训练集的高质量文本，卡点一直是版式不规则、OCR 质量差。把处理成本压到工作站可承受，等于把数以亿计的报纸扫描件变成潜在语料。更值得抄的是工程取向：可解释、可替换、先在小硬件上验证，而不是一上来就堆集群。
相关链接：https://arxiv.org/abs/2608.18972
SolarWM：143 万视频片段统一成”帧对齐契约”，十个来源的数据可以放心混训
港中文（深圳）团队发布 SolarWM，一套从数据准备到长时程推理全部开放的视频世界模型基座。数据来源有 10 个、共 143 万个规范化片段，麻烦在于这些数据集的时间尺度、相机几何、画质、运动强度和字幕风格各不相同，直接混着训会让监督信号不一致，结果也没法复现比较。
解法是把多源数据拆成两层。底层各来源独立处理，上层用统一的帧对齐契约描述每个片段，契约包含视觉观测、公制相机几何、字幕、质量元数据、筛选决策、来源溯源六类字段，混训配比在这一层完成，与来源处理解耦。模型侧用 backbone-native 适配框架，在 Wan2.2、LTX-2.5、MiniMax-H3 三种架构上实例化 5B 到 33B 共四个模型，各自保留原生表示和训练目标。三阶段配方依次是双向适配、teacher-forced 自回归初始化、分布匹配蒸馏。最终只训练 5 秒序列的因果模型，能支撑几分钟到几小时的连续 rollout。数据、管线、配方、权重、框架全部开放。
对大模型数据工作的影响：这份工作把视频领域一直含糊的”数据配比”做成了显式工程对象。文本侧有 FineWeb 这类公共基座，配比实验能复用同一份数据；视频侧此前各团队各自混数据，论文之间无法横向比较。契约里筛选决策和来源溯源两个字段尤其关键，配比要有可追溯依据，否则调出来的比例换一批数据就失效。做多源数据工程的团队可以直接拿这套字段设计。
相关链接：https://arxiv.org/abs/2609.02886
蚂蚁 OmniTable 获 VLDB 2026 工业最佳论文：35 PB 语料收进四张逻辑宽表，SFT 准备从 14 天压到 2.5 天
蚂蚁集团的统一宽表系统 OmniTable 拿到 VLDB 2026 工业赛道最佳论文，9 月 1 日在波士顿颁出。论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》披露，这套系统在生产环境管理 35 PB 以上、3050 亿条以上的大模型训练数据，覆盖 Web、代码、PDF 和 SFT 四个数据域。
改动落在数据组织方式上。同一数据域在上层呈现为一张逻辑宽表，底层仍按数据规模、访问方式和计算引擎拆分；两个系统字段负责对齐，ai_unique_id 作为全局主键贯穿来源、阶段和特征列，ai_append_name 记录接入批次与版本。特征从脚本里的临时计算变成带定义、版本、依赖和血缘的注册资产，工程师提交回刷任务只需指定目标批次和目标特征，系统沿列级依赖 DAG 找出最小未完成闭包再生成执行计划。三个实测细节：8 个共用 parsed_text 的 CPU 特征融合后扫描次数从 8 降到 1，CPU 小时从 4.2 万降到 1.85 万；500 GB、6 亿条记录的任务中有 31247 条异常记录（占 0.005%），记录级容错让其余 99.995% 一次跑完，耗时 6.2 小时，关闭该能力则任务整体失败；真实 SFT 数据准备任务端到端从 14 天缩到 2.5 天，手工步骤从 45 降到 12。代价也写明了：热点列物化增加 8%–15% 存储，记录级容错增加 3%–5% 执行开销。
对大模型数据工作的影响：PB 级语料的主要成本已经不是算力，而是工程师反复找表、补任务、排查异常的时间。论文里”补一个特征要处理 106 张表”这个案例，任何做过数据加工的团队都不陌生。宽表本身不是新概念，把批次和特征列升为一等对象、把物理表退到存储层才是关键动作——逻辑 schema 稳定后，底层合并小文件、拆列、建物化视图都不用改上层查询。这套设计经过 35 PB 生产验证，比任何方法论文章都更有参考价值。
相关链接：https://www.qbitai.com/2026/09/483104.html
SMELT：MoE 循环 Transformer 在算力对齐条件下仍省下 6.8%–18% 训练 FLOPs
字节 Seed 团队研究循环 Transformer 在 MoE 架构上的表现，指出过去多数评测在固定模型尺寸下比较，把架构优势和额外 FLOPs 混在一起。这次实验严格对齐每 token FLOPs、非 embedding 总参数量和 KV cache 三项预算。
消融后给出的配方叫 SMELT（Sparse MoE Transformer, middle layers Loop Twice）：把中间一半的层循环两次，三项预算都与不循环的基线拉齐。团队把 SMELT 扩展到四个尺寸、最大 54B 非 embedding 参数，为每种架构分别拟合 Chinchilla 式 scaling law。结果是 SMELT 的 loss 随算力下降更快，在计算最优前沿上节省 6.8%–18% 训练 FLOPs。这个优势能转移到下游基准，且转移幅度超出验证 loss 的预测，在 Code 上最明显，并随样本长度和上下文示例数量增长。机制分析显示第二次经过这些层会削弱 attention sink，把注意力质量转向与内容相关的 token。
对大模型数据工作的影响：省 FLOPs 等于同样的算力预算能多喂 token，scaling law 里的算力—token 配比需要重算。论文分别给循环和非循环架构拟合各自的 Chinchilla 曲线，这个做法本身就说明架构变化会移动最优配比点，沿用旧公式会算错。数据团队真正要盯的是优势在 Code 上最大这一条——代码语料的投入产出比会因为架构选择而变化，做配比实验时值得把它单列出来。
相关链接：https://arxiv.org/abs/2609.01343
StudentSim：微软把稀疏个体数据变成可训练资产，行为保真度 0.51 对 GPT-5.4 的 0.23
微软研究院与 UIUC 合作提出 StudentSim，解决个性化教学中”哪种引导对哪个学生有效”这个信号稀疏、昂贵、采集慢的问题。现有路线有两条：状态跟踪模型能拟合学生行为但处理不了讲解和纠正，LLM 角色扮演能流畅遵循引导但对不上被模仿学生的真实水平。
训练框架分两步，先在全体数据上做 pooled training，再针对单个学生做特化。配套发布的 StudentSimEval 覆盖 60 名学生，横跨国际象棋、二语英语写作和数学三个领域，使用公开的、去标识化的学习者数据集。协议测两个指标：行为保真度 F（模拟器与真实学生回答的吻合度）和引导响应度 R（在教师引导下更新的容易程度），所有方法在同一批记录上拟合和评测。三个领域上 StudentSim 两项指标都超过 GPT-5.4；国际象棋上 F=0.51、R=0.91，GPT-5.4 是 0.23 和 0.72，Maia2 是 0.45 和 0.27。作为概念验证，用 StudentSim 当奖励模型做教师 RL，得到的国际象棋教师在人类专家评分里优于无 RL 基线和用 GPT-5.4 模拟器作奖励的对照组。代码已在 GitHub 开源。
对大模型数据工作的影响：这份工作示范了稀疏个体数据怎么用——先池化建底座，再按需特化，绕开”每用户数据太少训不出东西”的死结。同构场景不少：客服对话风格、代码审查偏好、医生问诊习惯，都是样本量小但个体特征鲜明的分布。StudentSimEval 把 F 和 R 拆成两个独立指标也值得借鉴，模拟任务如果只测一个总分，模型很容易在”像”和”听劝”之间取巧。用模拟器产出奖励信号再反哺 RL，是合成数据闭环里目前少见的有量化评测的案例。