研究提案

AI 原生大模型数据团队:趋势、定义与关键路径

外部已有明确信号,内部已有散点探索,现在需要做的是从组织和系统层面把这件事设计清楚。这篇报告说三件事:方向判断、什么是真正的 AI 原生、以及可操作的推进路径。

AI原生 数据团队 大模型数据 数据飞轮 Agent 中训练数据 自主进化

一、背景:趋势已经清晰,窗口正在打开

1.1 外部信号

OpenAI 的内部 Data Agent(2026 年 1 月公开) 是目前最具参考价值的实践案例。他们的数据平台服务 3,500+ 内部员工,管理超过 600 PB、70,000 个数据集。在这个规模下,「找到正确的表」本身就是分析工作中最耗时的环节——相似的表太多,细微差异只有写过它的人知道。

他们构建的 Data Agent 解决方案有几个关键设计值得关注:

  • 代码级理解:Agent 不只读 schema,还读生产这张表的代码——表的真正含义藏在产生它的逻辑里,而不是列名和注释里
  • 机构知识接入:Agent 可以访问 Slack、Google Docs、Notion,把散落在对话和文档里的业务背景、指标定义、历史决策纳入上下文
  • 持续学习记忆:Agent 在与用户交互中积累纠正和细微差别,下次遇到同类问题时直接复用,不再重复犯同样的错误
  • 闭环自修正:中间结果异常时,Agent 自主调查、调整、重试,把迭代任务从用户身上转移到 Agent 自身

结果:原本需要「几天」的问题,变成了「几分钟」。(原文链接)

NVIDIA Data Flywheel Blueprint(2025 年 6 月) 走了另一条路:直接利用生产环境的 LLM 交互日志作为训练数据,全自动完成「生产流量 → 数据集 → 蒸馏微调 → 模型更新」的闭环,零人工标注。实测:1B 小模型通过飞轮蒸馏,达到 70B 模型 98% 的工具调用准确率。

更大的背景:自主科研开始出现 。2026 年 3 月,Nature 发表论文展示 AI 系统能以最少人工参与产出通过同行评审的研究论文(Nature, 2026)。多智能体协作数据选择已有论文验证对预训练效率有显著提升(arXiv:2410.08102)。方向已经在走,不是假设。

1.2 内部已有散点探索

回顾当前内部各方向的探索:

  • 数据质检:大模型已经在实际使用中,而且在复杂语义判断任务上,模型的表现已经超过了人工规则
  • 数据合成:TerminalBench 等方向的合成已经在借助模型,形成了半自主的进化流程
  • 数据诊断:尝试了模型出题、测试来发现预训练数据的盲区——这是一种自我审视能力的雏形

这些探索是对的,值得鼓励。但现在的状态是散点而非体系——每个方向在自己的边界内做,缺少一个统一的信息层和工具层支撑,每个 Agent 都是孤岛。

从组织和系统层面做一次设计,有机会激发远超现有工作的想象力。


二、什么是 AI 原生的数据团队

核心定义一句话:

AI 与人平权——信息、工具、系统,应该像对待员工一样对待 AI。

这句话听起来简单,但背后是一套完整的系统设计思想。

现在的状态是:AI 是「被调用的工具」——人有访问权、有上下文、有判断依据,AI 只在被显式调用时执行一个局部任务。任务完成后,上下文消失。

AI 原生的状态是:AI 是「持续在场的参与者」——像一个真正在团队里工作的成员,有访问权限、有持续积累的上下文、有主动发现问题和提出想法的能力。

具体来说,这意味着:

信息对等:AI 可以访问数据团队所有的信息资产

  • 数据仓库的 schema、血缘关系、生产代码
  • 实验平台的历史结果、配比记录、ablation 数据
  • 日常工作中的决策记录、讨论背景(不只是最终结论,还有「为什么这么决定」)
  • 模型评测结果、能力曲线、退化信号

工具对等:AI 可以使用数据团队所有的核心系统

  • 数据访问权限(读取,按需写入)
  • 实验系统(提交任务、查看结果)
  • 蒸馏平台、模型 API
  • 合成和质检的执行环境

目标驱动而非步骤驱动:人设置目标和规范,AI 自主决定怎么做

  • 人说「这批数据的质检目标是:毒性 < 0.1%,事实一致性 > 95%」
  • AI 决定用什么方法、调什么模型、处理什么边界情况
  • 人审核结果和异常,不关心执行路径

三、关键路径:两步走

第一步:打通数据质检

为什么从质检开始?

质检是当前探索最深、模型能力最被验证的方向。更重要的是,质检是数据流的关键节点——打通了质检,就打通了数据层的核心访问路径,后续扩展的基础就建好了。

这一步要做的核心事情:打通数据访问权限 + 建立信息理解层

数据访问是基础,但不够——模型能访问数据,不代表模型能理解数据。这里有一个设计难题需要认真对待:

如何让模型理解「这批数据是什么」,而不只是「这批数据长什么样」?

OpenAI 的答案是「代码级理解」——表的真实含义在产生它的代码里,而不是列名和 schema 里。对预训练数据团队来说,这个问题更复杂:一批数据不只有 schema,还有:

  • 它从哪里采集的,原始来源的质量基线是什么
  • 它经过了哪些清洗步骤,每个步骤的逻辑是什么
  • 它在历史上出现过哪些问题,怎么处理的
  • 它在模型训练里的历史表现,哪个配比下效果好

这些「数据的故事」,是让模型真正理解数据的关键。把这些信息结构化地喂给模型,才能让模型做出有判断力的质检决策,而不只是执行规则。

信息理解层的设计要点:

  • 每个数据集维护一份「数据履历」:来源、清洗逻辑(附代码链接)、历史质检记录、训练表现
  • 把散落在 wiki、聊天、实验记录里的决策背景整理成可检索的结构
  • 质检 Agent 的上下文 = schema + 履历 + 历史决策 + 当前目标,而不只是「一批文本」

人的角色:

  • 设置质检目标(指标 + 阈值)和预算(API 调用量、时间、数据权限范围)
  • 审核异常和边界情况,不参与执行路径
  • 定期校准:对比 Agent 判断和人工抽检,形成持续的信任积累

第二步:构建自主演化能力

第一步解决了「让 AI 替人执行已知任务」。第二步更有想象力:让 AI 主动发现问题、生成想法、推动数据方案的演化。

具体是:AI 有了完整的信息访问权和工具权之后,可以做人很难做到的事情:

跨源信息的自动关联

  • 发现「最近训练的数学能力退化」和「上个月一批数学数据的质检标准调整」之间的关联
  • 这类关联人是能发现的,但需要两个人碰到一起、记起来、有时间推理——大量的关联被淹没在日常噪音里
  • AI 持续在场,不会遗忘,可以系统性地做这件事

主动的数据实验

  • 在沙箱环境里自主尝试不同的数据配比方案,观察下游指标变化
  • 发现某类数据在特定配比下有显著正向效果,整理成可执行的建议,提交给研究员决策
  • 不需要人分配任务,AI 自主选择「当前最值得探索的方向」

数据方案的自主生成

  • 基于当前模型的能力缺口,反推需要什么样的数据来填补
  • 生成合成方案,自动评估方案的覆盖度和多样性,再扩大生产
  • 这是现在 TerminalBench 方向在做的半自主流程,未来可以更系统化

研究员的角色转变

在第二步里,研究员的角色不再是「分配任务」,而是柏拉图式的追问者:

AI 提出一个发现或想法,研究员不是评判「对不对」,而是追问「为什么」「这意味着什么」「有没有反例」「如果这个假设成立,那下一步应该验证什么」——通过追问,把 AI 的初步想法打磨成可执行的方案。

这种工作方式,更像研究员之间的 brainstorm,而不是人对工具的调用。


四、根本性改变:想象力的激发

前两步是工程层面的设计,但真正有意思的是它们会带来什么质变。

改变一:「不知道自己不知道」的问题开始被解决

现在团队对数据的认知有一个隐性天花板:我们只知道我们知道的东西。

大量潜在问题、潜在关联、潜在机会,因为没有人有足够的时间和上下文去系统性地探索,所以永远停留在「未被发现」的状态。

AI 全时在场、有完整信息访问权之后,这个天花板会被打破。它可以持续做人做不到的「全局扫描」——不是因为它更聪明,而是因为它不累、不遗忘、可以并行处理。

改变二:数据工作从「被动响应」变成「主动发现」

现在的工作模式本质上是响应式的:训练团队说「数学能力退化了」,数据团队开始排查。

AI 原生之后,可以变成预测式的:在退化信号出现之前,AI 已经发现了数据分布的异常,并提前提出了调整建议。

改变三:团队的工作密度和创新密度同时提升

当执行层交给 AI,人可以把更多时间放在「只有人能做的事」上——定义方向、设计体系、做关键判断、通过追问激发更好的想法。

这不是说团队变小,而是说同样规模的团队,可以覆盖更大的探索空间。


五、从哪里开始

第一个月:质检 Agent 的信息层设计

不要急着做全套系统,先把「信息层」设计清楚:

  • 盘点现有数据集,建立「数据履历」模板
  • 确定哪些信息是 Agent 做质检判断必须有的
  • 把散落的决策记录整理成可读的结构

这一步的产出不是代码,是「让 Agent 能理解数据」的信息架构设计。

第二到三个月:打通质检 Agent 的完整闭环

  • 数据访问权限打通
  • 第一个能自主运行的质检 Agent(有目标设置、有执行、有结果报告)
  • 建立人工校准机制,持续积累信任

第四到六个月:扩展到实验和合成

质检打通之后,用同一套信息层和权限体系扩展到:

  • 实验系统的访问(读取历史实验数据)
  • 合成方案的自主生成和评估
  • 跨源信息关联的第一个 prototype

六个月后:开始观察是否有「意外的发现」

这是 AI 原生最难预测、也最值得期待的部分——当 AI 有了足够的信息和工具,它会发现什么是我们没想到的?这个问题,只有做了才知道。


参考:OpenAI 内部 Data Agent 完整分析 | 旧版综述(2026-03-27)


本文为改进版本。查看原始版本