AI 原生大模型数据团队:趋势、定义与关键路径
外部已有明确信号,内部已有散点探索,现在需要做的是从组织和系统层面把这件事设计清楚。这篇报告说三件事:方向判断、什么是真正的 AI 原生、以及可操作的推进路径。
一、背景:趋势已经清晰,窗口正在打开
1.1 外部信号
OpenAI 的内部 Data Agent(2026 年 1 月公开) 是目前最具参考价值的实践案例。他们的数据平台服务 3,500+ 内部员工,管理超过 600 PB、70,000 个数据集。在这个规模下,「找到正确的表」本身就是分析工作中最耗时的环节——相似的表太多,细微差异只有写过它的人知道。
他们构建的 Data Agent 解决方案有几个关键设计值得关注:
- 代码级理解:Agent 不只读 schema,还读生产这张表的代码——表的真正含义藏在产生它的逻辑里,而不是列名和注释里
- 机构知识接入:Agent 可以访问 Slack、Google Docs、Notion,把散落在对话和文档里的业务背景、指标定义、历史决策纳入上下文
- 持续学习记忆:Agent 在与用户交互中积累纠正和细微差别,下次遇到同类问题时直接复用,不再重复犯同样的错误
- 闭环自修正:中间结果异常时,Agent 自主调查、调整、重试,把迭代任务从用户身上转移到 Agent 自身
结果:原本需要「几天」的问题,变成了「几分钟」。(原文链接)
NVIDIA Data Flywheel Blueprint(2025 年 6 月) 走了另一条路:直接利用生产环境的 LLM 交互日志作为训练数据,全自动完成「生产流量 → 数据集 → 蒸馏微调 → 模型更新」的闭环,零人工标注。实测:1B 小模型通过飞轮蒸馏,达到 70B 模型 98% 的工具调用准确率。
更大的背景:自主科研开始出现 。2026 年 3 月,Nature 发表论文展示 AI 系统能以最少人工参与产出通过同行评审的研究论文(Nature, 2026)。多智能体协作数据选择已有论文验证对预训练效率有显著提升(arXiv:2410.08102)。方向已经在走,不是假设。
1.2 内部已有散点探索
回顾当前内部各方向的探索:
- 数据质检:大模型已经在实际使用中,而且在复杂语义判断任务上,模型的表现已经超过了人工规则
- 数据合成:TerminalBench 等方向的合成已经在借助模型,形成了半自主的进化流程
- 数据诊断:尝试了模型出题、测试来发现预训练数据的盲区——这是一种自我审视能力的雏形
这些探索是对的,值得鼓励。但现在的状态是散点而非体系——每个方向在自己的边界内做,缺少一个统一的信息层和工具层支撑,每个 Agent 都是孤岛。
从组织和系统层面做一次设计,有机会激发远超现有工作的想象力。
二、什么是 AI 原生的数据团队
核心定义一句话:
AI 与人平权——信息、工具、系统,应该像对待员工一样对待 AI。
这句话听起来简单,但背后是一套完整的系统设计思想。
现在的状态是:AI 是「被调用的工具」——人有访问权、有上下文、有判断依据,AI 只在被显式调用时执行一个局部任务。任务完成后,上下文消失。
AI 原生的状态是:AI 是「持续在场的参与者」——像一个真正在团队里工作的成员,有访问权限、有持续积累的上下文、有主动发现问题和提出想法的能力。
具体来说,这意味着:
信息对等:AI 可以访问数据团队所有的信息资产
- 数据仓库的 schema、血缘关系、生产代码
- 实验平台的历史结果、配比记录、ablation 数据
- 日常工作中的决策记录、讨论背景(不只是最终结论,还有「为什么这么决定」)
- 模型评测结果、能力曲线、退化信号
工具对等:AI 可以使用数据团队所有的核心系统
- 数据访问权限(读取,按需写入)
- 实验系统(提交任务、查看结果)
- 蒸馏平台、模型 API
- 合成和质检的执行环境
目标驱动而非步骤驱动:人设置目标和规范,AI 自主决定怎么做
- 人说「这批数据的质检目标是:毒性 < 0.1%,事实一致性 > 95%」
- AI 决定用什么方法、调什么模型、处理什么边界情况
- 人审核结果和异常,不关心执行路径
三、关键路径:两步走
第一步:打通数据质检
为什么从质检开始?
质检是当前探索最深、模型能力最被验证的方向。更重要的是,质检是数据流的关键节点——打通了质检,就打通了数据层的核心访问路径,后续扩展的基础就建好了。
这一步要做的核心事情:打通数据访问权限 + 建立信息理解层
数据访问是基础,但不够——模型能访问数据,不代表模型能理解数据。这里有一个设计难题需要认真对待:
如何让模型理解「这批数据是什么」,而不只是「这批数据长什么样」?
OpenAI 的答案是「代码级理解」——表的真实含义在产生它的代码里,而不是列名和 schema 里。对预训练数据团队来说,这个问题更复杂:一批数据不只有 schema,还有:
- 它从哪里采集的,原始来源的质量基线是什么
- 它经过了哪些清洗步骤,每个步骤的逻辑是什么
- 它在历史上出现过哪些问题,怎么处理的
- 它在模型训练里的历史表现,哪个配比下效果好
这些「数据的故事」,是让模型真正理解数据的关键。把这些信息结构化地喂给模型,才能让模型做出有判断力的质检决策,而不只是执行规则。
信息理解层的设计要点:
- 每个数据集维护一份「数据履历」:来源、清洗逻辑(附代码链接)、历史质检记录、训练表现
- 把散落在 wiki、聊天、实验记录里的决策背景整理成可检索的结构
- 质检 Agent 的上下文 = schema + 履历 + 历史决策 + 当前目标,而不只是「一批文本」
人的角色:
- 设置质检目标(指标 + 阈值)和预算(API 调用量、时间、数据权限范围)
- 审核异常和边界情况,不参与执行路径
- 定期校准:对比 Agent 判断和人工抽检,形成持续的信任积累
第二步:构建自主演化能力
第一步解决了「让 AI 替人执行已知任务」。第二步更有想象力:让 AI 主动发现问题、生成想法、推动数据方案的演化。
具体是:AI 有了完整的信息访问权和工具权之后,可以做人很难做到的事情:
跨源信息的自动关联
- 发现「最近训练的数学能力退化」和「上个月一批数学数据的质检标准调整」之间的关联
- 这类关联人是能发现的,但需要两个人碰到一起、记起来、有时间推理——大量的关联被淹没在日常噪音里
- AI 持续在场,不会遗忘,可以系统性地做这件事
主动的数据实验
- 在沙箱环境里自主尝试不同的数据配比方案,观察下游指标变化
- 发现某类数据在特定配比下有显著正向效果,整理成可执行的建议,提交给研究员决策
- 不需要人分配任务,AI 自主选择「当前最值得探索的方向」
数据方案的自主生成
- 基于当前模型的能力缺口,反推需要什么样的数据来填补
- 生成合成方案,自动评估方案的覆盖度和多样性,再扩大生产
- 这是现在 TerminalBench 方向在做的半自主流程,未来可以更系统化
研究员的角色转变
在第二步里,研究员的角色不再是「分配任务」,而是柏拉图式的追问者:
AI 提出一个发现或想法,研究员不是评判「对不对」,而是追问「为什么」「这意味着什么」「有没有反例」「如果这个假设成立,那下一步应该验证什么」——通过追问,把 AI 的初步想法打磨成可执行的方案。
这种工作方式,更像研究员之间的 brainstorm,而不是人对工具的调用。
四、根本性改变:想象力的激发
前两步是工程层面的设计,但真正有意思的是它们会带来什么质变。
改变一:「不知道自己不知道」的问题开始被解决
现在团队对数据的认知有一个隐性天花板:我们只知道我们知道的东西。
大量潜在问题、潜在关联、潜在机会,因为没有人有足够的时间和上下文去系统性地探索,所以永远停留在「未被发现」的状态。
AI 全时在场、有完整信息访问权之后,这个天花板会被打破。它可以持续做人做不到的「全局扫描」——不是因为它更聪明,而是因为它不累、不遗忘、可以并行处理。
改变二:数据工作从「被动响应」变成「主动发现」
现在的工作模式本质上是响应式的:训练团队说「数学能力退化了」,数据团队开始排查。
AI 原生之后,可以变成预测式的:在退化信号出现之前,AI 已经发现了数据分布的异常,并提前提出了调整建议。
改变三:团队的工作密度和创新密度同时提升
当执行层交给 AI,人可以把更多时间放在「只有人能做的事」上——定义方向、设计体系、做关键判断、通过追问激发更好的想法。
这不是说团队变小,而是说同样规模的团队,可以覆盖更大的探索空间。
五、从哪里开始
第一个月:质检 Agent 的信息层设计
不要急着做全套系统,先把「信息层」设计清楚:
- 盘点现有数据集,建立「数据履历」模板
- 确定哪些信息是 Agent 做质检判断必须有的
- 把散落的决策记录整理成可读的结构
这一步的产出不是代码,是「让 Agent 能理解数据」的信息架构设计。
第二到三个月:打通质检 Agent 的完整闭环
- 数据访问权限打通
- 第一个能自主运行的质检 Agent(有目标设置、有执行、有结果报告)
- 建立人工校准机制,持续积累信任
第四到六个月:扩展到实验和合成
质检打通之后,用同一套信息层和权限体系扩展到:
- 实验系统的访问(读取历史实验数据)
- 合成方案的自主生成和评估
- 跨源信息关联的第一个 prototype
六个月后:开始观察是否有「意外的发现」
这是 AI 原生最难预测、也最值得期待的部分——当 AI 有了足够的信息和工具,它会发现什么是我们没想到的?这个问题,只有做了才知道。
参考:OpenAI 内部 Data Agent 完整分析 | 旧版综述(2026-03-27)
本文为改进版本。查看原始版本