数据工程观察 · 2026年05月26日

引言

本期关注预训练数据工程的多个维度：从预训练蒸馏中”弱教师也能教好强学生”的反直觉发现，到首个黑盒优化基础模型开源训练数据集的发布，再到国内具身智能数据基建的规模化落地与数据标注产业的体系化推进。这些动态共同指向一个趋势——训练数据的获取、构建和流通正在从实验室方法走向工程化、产业化和平台化。

预训练蒸馏中”强教师”并非必需——弱教师也能改进强学生

事件概述

arXiv:2605.23857（2026年5月22日）论文 Strong Teacher Not Needed? On Distillation in LLM Pretraining 系统性研究了预训练蒸馏中教师-学生关系的影响，发现传统”强教师→弱学生”假设并不总是成立——甚至弱教师也能改进强学生。

技术细节

• 研究者通过调节架构规模和训练 token 预算，构造了强→弱、同级、弱→强三种教师-学生关系
• 关键发现：只要将语言建模损失与知识蒸馏损失正确混合，即使小且训练不足的教师也能改进更大的学生模型
• 反直觉结论：更强的教师并不总是更好——通过增加参数量或训练 token 来增强教师，可能使蒸馏收益饱和甚至逆转
• 蒸馏在泛化能力（OOD 和下游性能）上的提升比域内拟合更显著

对大模型数据工作的影响

这项研究对预训练数据工程有直接启示：在使用蒸馏策略生成训练数据或指导数据选择时，不必一味追求最强教师模型。小型教师的低成本蒸馏数据可能同样有效，这为数据受限场景下用小模型生成训练数据提供了理论支撑。此外，“损失混合”策略本身也可以被视为一种数据配比方法——蒸馏信号与原始语言建模信号的混合比例是一个值得系统优化的超参数。

BBO-Pile：首个面向黑盒优化基础模型的开源训练数据集

事件概述

arXiv:2605.23417（2026年5月22日）论文发布了 BBO-Pile，这是首个面向黑盒优化基础模型的开源训练数据集，包含超过 50 万条优化轨迹，覆盖 3095 个不同黑盒函数。

技术细节

• 数据集包含 50 万+ 优化轨迹，来自 3095 个不同黑盒函数和多种优化器
• 训练了从 2M 到 80M 参数规模的基础模型家族，训练 token 从 200M 到 2B
• 研究了计算量与模型性能的缩放行为，证明大规模预训练是模仿黑盒优化方法的有效途径
• 此前相关工作要么依赖非公开数据集，要么仅使用纯合成数据，限制了可复现性和对真实问题的泛化

对大模型数据工作的影响

BBO-Pile 填补了优化搜索领域训练数据的空白，其意义在于：①验证了”优化轨迹即训练数据”的范式——将搜索/决策过程结构化记录为可学习序列；②为更多领域的基础模型训练提供了数据工程模板——从专业工具的使用轨迹中构建训练集；③开源发布使优化基础模型的研究门槛大幅降低，有望催生更多数据驱动的优化方法。

京东具身智能数据基建落地：全国首个数据采集社区与数据交易平台

事件概述

2026年5月21日，京东在江苏宿迁落地全国首个具身智能数据采集社区，同步上线具身智能数据交易平台，首批定向开放 2000 小时高精标注数据集 EgoLive。京东宣布将发动最多 60 万人参与”人类历史上规模最大的数据采集行动”，两年内积累 1000 万小时人类真实场景视频数据。

技术细节

• 构建”采集—标注—训练—验证”全流程数据流水线，覆盖物流仓储、工业制造、健康医疗、家庭服务、城市运维五大核心场景
• 采集覆盖视觉、触觉、空间轨迹等全维度数据，从手部操作拓展至全身运控（第一人称视角、力觉、环视感知）
• 宿迁社区发动超 10 万市民参与，覆盖 100+ 细分场景（养老院照护、农田采摘、服装工厂缝纫等）
• 数据交易平台首批高精数据集 EgoLive 已被国内具身智能、多模态大模型领域领军企业使用

对大模型数据工作的影响

具身智能训练数据的瓶颈（行业测算需千万小时级，当前仅数十万小时）正在被产业力量系统性地突破。京东的方案有三个关键创新：①”社区化采集”模式——将数据采集从实验室搬到真实生活场景，大幅降低采集成本并提升场景多样性；②”平台化流通”——数据交易平台使训练数据从内部资产变为可交易的标准化产品；③”数据-模型闭环”——自采数据训练 JoyAIRA 具身大模型，验证数据质量并反哺采集策略优化。这一模式对大模型数据工程有借鉴意义：从垂直场景出发构建数据飞轮，以数据交易打通产业上下游。

广东省高质量数据集行动与数据标注产业对接

事件概述

2026年5月20日，高质量数据集与数据标注产业供需对接活动在广州举行。广东省启动国企高质量数据质效提升行动和高质量数据集创新大赛（第二期），发布数据产业图谱，广州人工智能数据训练基地同期启用。

技术细节

• 20 家试点国企将联合上下游伙伴开展数据”炼化”——从原始数据到高质量数据集的提纯流程
• 广东省政务和数据局联合省国资委启动国企数据质效提升行动，聚焦高准确性、完整性、可信性和时效性
• 数据产业图谱发布，系统化展示数据采集、加工、标注、交易各环节参与者
• 广州人工智能数据训练基地启用，提供训练数据的基础设施支撑

对大模型数据工作的影响

这一动态标志着中国 AI 训练数据建设从”自下而上”的项目驱动走向”自上而下”的体系化推进。国企数据资源的”质效提升”行动尤其值得关注：国企掌握大量高质量行业数据（金融、通信、能源等），但数据治理水平和可用性参差不齐。将”数据炼化”概念制度化——即从原油般的原始数据提炼出可直接用于模型训练的高质量数据集——为行业数据工程提供了标准化的方法论框架。数据标注产业的”供需对接”也指向一个趋势：数据标注正从劳动密集型向技能密集型转型，标注师需要领域专业知识（医疗、法律、金融等），这改变了对数据人力市场的需求结构。

LLM×DATA 综述：语言模型与数据管理的双向关系

事件概述

2026年5月24日发布于智源社区的综述论文 A Survey of LLM × DATA 系统梳理了大语言模型与数据管理的双向关系——DATA4LLM（数据如何支持模型）与 LLM4DATA（模型如何改进数据管理），覆盖从数据采集到服务全链路。

技术细节

• DATA4LLM 方向涵盖三个层面：①数据处理（可扩展采集、去重、过滤、选择、领域混合、合成增强）；②数据存储（高效格式、分布式存储、KV 缓存管理、容错检查点）；③数据服务（RAG 知识后处理、推理优化、训练策略如数据打包与打乱）
• LLM4DATA 方向覆盖：①数据操作（自动清洗、集成、发现）；②数据分析（结构化/半结构化/非结构化数据推理）；③系统优化（配置调优、查询重写、异常诊断）
• 综述采用检索增强提示、任务专用微调、多智能体协作等 LLM 技术，展示 LLM 如何成为数据管理的通用引擎

对大模型数据工作的影响

这篇综述的价值在于建立了一个完整的”数据-模型”双向框架，使数据工程师能够系统性地理解：①训练数据的每个环节（采集→处理→存储→服务）都有对应的 LLM 驱动优化空间；②LLM 不仅是数据消费者，也是数据生产者和优化器——自动清洗、集成发现等能力可直接嵌入数据工程流水线；③多智能体协作模式特别值得关注：将数据清洗、质检、标注等任务分配给专业化的 LLM Agent，是数据工程自动化的重要方向。对于构建后训练数据质检系统等实际工作，这篇综述提供了方法论层面的系统性参考。