datainfra前沿动态 · Vol.37

Google OKF v0.2 引入 Agent 知识信任信号五维体系；阿里云 Dataphin V6.2 知识图谱+向量检索就位；Joe Reis 颠覆式提出「每个 Agent 一个 DuckDB」

本期聚焦 Agent-First 数据基础设施三条关键进展：Google Cloud OKF v0.2 为 Agent 知识引入 Provenance/Trust/Freshness/Lifecycle/Attestation 五维信任信号；阿里云 Dataphin V6.2 上海发布，知识图谱+Milvus 向量检索+Dataset API 构建 Agent 级数据治理平台；Data Engineering Weekly #280 中 Joe Reis 提出「To Every Agent Its Own Database」，以 DuckDB + 密码学合约重构 Agent 数据交换范式。Gartner 同期预测数据中心支出暴增 62.5%，为 Agent 基础设施建设周期投下确认票。

DataInfra OKF Open Knowledge Format OKF v0.2 Google Cloud Dataphin Dataphin V6.2 阿里云 知识图谱 Agent Database DuckDB Netflix LLM Serving RocksDB MVCC 向量检索 Milvus MaxCompute Agent 数据基础设施 Joe Reis Gartner

本期追踪到 DataInfra 领域三条指向同一方向的动态——Agent-First 数据基础设施正在从”格式层→平台层→架构层”全面成形。2026 年 7 月 25 日，Google Cloud 发布 Open Knowledge Format (OKF) v0.2，由 Sam McVeety 和 Amir Hormati 主导，在 v0.1 的”Markdown+YAML 可移植知识格式”基础上引入五维 Agent 信任信号——Provenance（来源）、Trust（可信度分级）、Freshness（时效性）、Lifecycle（生命周期）和 Attestation（计算认证）——为 Agent 间的知识交换建立了可验证的信任契约；7 月 26 日，阿里云 Dataphin V6.2 在上海正式上线，推出知识图谱、Milvus 向量数据源集成、Dataset API（原生向量检索+文件下载链接生成）等多项 Agent 级数据治理能力，标志着国内主流数据平台正式进入 Agent-Native 轨道；7 月 27 日，Data Engineering Weekly #280 头篇文章——Joe Reis 的 「To Every Agent Its Own Database」——直接挑战”Agent 查询共享数仓”的默认假设，提出每个 Agent 获得独立 DuckDB 实例并通过密码学合约（Data Exchange Unit）进行 Peer-to-Peer 数据交换的全新范式。三条动态从不同层次回答了同一个问题：当数据的主要消费者从人类变成 AI Agent 时，基础设施需要被重新设计。Gartner 同期发布的 2026 年全球 IT 支出预测——数据中心系统支出暴增 62.5% 至 8,220 亿美元——为这个”Agent 基础设施建设周期”投下了最有力的确认票。

Google Cloud OKF v0.2 发布：Agent 知识格式引入 Provenance/Trust/Freshness/Lifecycle/Attestation 五维信任信号

事件概述

2026 年 7 月 25 日，Google Cloud Data Cloud 团队的 Sam McVeety 和 Amir Hormati 通过 Google Cloud 官方博客发布了 Open Knowledge Format (OKF) v0.2，GitHub 仓库通过 PR #227 合并了全部变更。OKF 是 Google 在 6 月 12 日（v0.1）推出的开放知识格式规范——其核心理念是将组织的知识表示为”一个目录中的 Markdown 文件 + YAML frontmatter”，每个文件代表一个概念，文件之间通过标准 Markdown 链接构成知识图谱，完全基于 Apache 2.0 许可，不绑定任何云平台或 SDK。

如果说 v0.1 解决了”Agent 如何读取知识”的格式互操作问题，v0.2 则正面回应了社区在 v0.1 发布后提出的最尖锐问题：Agent 生成的知识，能信吗？

技术解析

  • 五维信任信号体系：v0.2 新增的 frontmatter 字段族围绕 Agent 消费者关心的五个核心问题展开。(1) Provenance（来源）：新增 sources 字段取代 v0.1 正文中的 # Citations 列表，每个 source 包含 url、title、author、last_modified 等客观可验证信号，而非主观”可信度评分”；(2) Trust（可信度分级）：引入 generated 和 verified 两个层级——generated 标记内容由机器生成（含生成者和时间戳），verified 标记经过人工审核或独立校验，允许不同深度的确认链；(3) Freshness（时效性）：新增 stale_after 字段，设置内容的确定性过期时间——例如”年度策略文档”可绑定 stale_after: 2027-01-01；(4) Lifecycle（生命周期）：新增 status 字段，支持 draft、active、deprecated 等状态标记，ACME 零售示例 bundle 中演示了 deprecated 的使用；(5) Attestation（计算认证）：确保数值型知识（如财务指标）是通过授权计算方法生成、并由独立流程验证的，ACME 示例中展示了包含 executor 和 attester 的完整 Attested Computation 流程。

  • 兼容性与工具链升级：v0.2 是增量、向后兼容的 minor 版本——仅有两处重命名（timestamp→generated.at、正文 # Citations→frontmatter sources），v0.1 bundle 无需修改即可使用。reference_agent（生产者）在生成 bundle 时自动注入 provenance 和 trust 字段族，static visualizer（消费者）在概念图旁展示信任层级、状态和过期标记，Knowledge Catalog demo 验证了 OKF bundle 通过 Google Cloud Knowledge Catalog（原 Dataplex）的完整往返——信任信号在目录层无损保留。

  • “格式而非平台”的坚持：v0.2 延续了 v0.1 的核心设计哲学——OKF 不是产品、不是服务、不需要账号。Google 明确表示”格式本身才是贡献”，参考实现只是证明概念可行性的”样板间”。Andrej Karpathy 在 v0.1 发布时的评论——“LLM 不会无聊、不会忘记更新交叉引用、可以一次触碰 15 个文件”——随着信任信号的引入而获得了新的分量：Agent 不仅能维护知识，还能为知识附上可验证的信任契约。

行业影响

OKF v0.2 的信任信号体系本质上是在定义一种”Agent 间知识交换的信用证”。v0.1 解决了”格式互操作”（format interoperability），v0.2 则进军”信任互操作”（trust interoperability）。当一个 Agent 从另一个 Agent 接收 OKF bundle 时，它可以通过 sources、verified、stale_after 和 attestation 四个维度机械地评估知识的可靠性，无需依赖人对”这个数据源靠不靠谱”的主观判断。

这一设计选择指向了一个更广泛的数据基础设施趋势：信任正在从”机构信任”（我信任这个数据仓库因为数据团队维护它）转向”密码学信任”（我信任这个数据切片因为它的来源 DAG、合约摘要和内容哈希都是可验证的）。本期 Joe Reis 在 DEW #280 中提出的”Agent 数据库”方案，恰好从架构层呼应了这一格式层的范式转移。

相关链接

阿里云 Dataphin V6.2：知识图谱、Milvus 集成、Dataset API——三大 Agent 级能力同期上线

事件概述

2026 年 7 月 26 日，阿里云智能数据建设与治理平台 Dataphin V6.2 在上海 region 正式上线（此前已于 7 月 21/23 日在成都/北京、深圳/杭州发布）。这是 Dataphin 继 3 月 V6.0（非结构化数据归集）、5 月 V6.1（非结构化工作流引擎）之后的第三个大版本迭代，新增知识图谱、Milvus 向量数据源集成、Dataset API（原生向量检索+文件下载链接）、Kafka→MaxCompute Delta 顺序写入等十余项能力——从功能列表来看，V6.2 是 Dataphin 从”传统数据治理平台”向”Agent-Native 数据基础设施”转型的关键版本。

技术解析

  • 知识图谱（Knowledge Graph）：这是 Dataphin V6.2 最具战略意义的新能力。传统数据治理平台（数据仓库、指标体系）仅处理结构化数据，知识图谱将非结构化数据（文档、文本）与结构化数据融合，以”实体-关系”图结构进行存储与计算。阿里云官方文档将其定位为”打破传统以数据仓库、指标体系为主、仅处理结构化数据的局限，构建全域关联的知识网络体系”——这正是 Agent 理解数据语义所需的基础设施。当 Agent 需要回答”这个指标的口径是什么、谁定义的、依赖哪些上游表、最后一次变更何时”时，知识图谱提供的不再是平面目录，而是关系网络。

  • Milvus 2.6.x 数据源与离线集成：新增加对向量数据库 Milvus 2.6.x 的全面支持——不仅是数据源注册，还包括离线批量读写集成。这意味着 Dataphin 用户可以在同一个平台上管理结构化表（MaxCompute、StarRocks、Doris、SelectDB）和向量存储（Milvus），并通过统一的离线集成任务在两者之间同步数据。对 RAG 和 Agent 场景而言，这消除了”向量数据库是另一个系统”的割裂感。

  • Dataset API：为 AI Agent 设计的开箱即用知识查询服务：V6.2 新增 Dataset API，支持两种创建模式——可视化向导模式和 SQL 模式，原生支持向量检索和文件下载链接生成。阿里云官方文档明确提到这是”为 AI Agent 提供开箱即用的知识查询服务”。这是 Dataphin 首次在产品功能描述中直接使用”AI Agent”作为目标消费者——不再只是”为数据分析师提供 API”，而是”为 Agent 提供知识查询 API”。

  • Kafka→MaxCompute Delta 顺序写入：Kafka Reader 新增对 MaxCompute Delta 表的顺序写入支持——确保目标表中”相同主键仅保留一条记录”，实现 UPSERT 语义。对于 Agent 驱动的实时数据管道（如 Agent 持续产出增量结果写入湖仓），这一能力解决了”如何避免重复消费”的老问题。

  • 其他增强：StarRocks/Doris/SelectDB 物理表支持、离线计算任务目录级权限管控、DataHub Blob 主题输出 shardId+systemTime+Base64Data 三字段、质量规则超时自动终止与失败自动重试、全局 SQL 参数（set 参数）、TDSQL for MySQL/PostgreSQL 等多个新数据源接入。

行业影响

Dataphin V6.2 的知识图谱 + Milvus + Dataset API 三条产品线同步上线，指向了一个清晰的信号：国内主流数据平台正在从”服务人类分析师”切换到”同时服务人类和 AI Agent”的双模模式。Dataset API 的向量检索和文件下载链接生成能力，本质上是在 Dataphin 内嵌了一个 Agent 知识库查询层——Agent 不需要关心底层是 MaxCompute 表、Milvus 向量还是文档碎片，只需调用统一的 Dataset API。

这与本期 OKF v0.2 形成了有趣的”格式层-平台层”呼应：OKF 用 Markdown+YAML 定义 Agent 知识的交换格式，Dataphin 用知识图谱+Dataset API 构建 Agent 知识的治理平台。一个解决”怎么带”，一个解决”怎么管”。

相关链接

Data Engineering Weekly #280：Joe Reis 提出「每个 Agent 一个 DuckDB」，Netflix LLM 推理平台、RocksDB MVCC 深度解析同期关注

事件概述

2026 年 7 月 27 日，Ananth Packkildurai 发布了 Data Engineering Weekly #280，共收录 10 篇深度文章。本期头篇——Joe Reis（《Fundamentals of Data Engineering》合著者）的 「To Every Agent Its Own Database」——是本周 DataInfra 社区讨论度最高的内容。Reis 不是在做学术论证，而是动手搭建了一个颠覆性原型：每个 AI Agent 获得一个独立的 DuckDB 实例，Agent 之间通过密码学合约进行 Peer-to-Peer 数据交换，而不是排队查询共享数据仓库。

技术解析

  • Joe Reis 的”Agent 自有数据库”架构：Reis 的原型包含三个核心组件。(1) DuckDB 实例化：每个活跃 Agent 通过 Quack（DuckDB 原生 client-server 协议，TCP loopback）获得一个嵌入式分析引擎——Agent 不需要查询中央仓库，Agent 本身就是一个数据系统；(2) Data Exchange Unit (DEU)：Agent 之间交换的数据以不可变”分析切片”形式传递，每个切片由 {catalog ID, dataset name, snapshot identifier, semantic contract digest, content digest} 五元组唯一标识——一个密码学级别的内容寻址方案；(3) 三层合约系统：语义合约（基于 Malloy 模型，定义”revenue”的含义和粒度）、密码学合约（内容摘要，修改 revenue 计算逻辑→摘要变化→下游立刻感知）、来源合约（完整的数据血缘 DAG）。

  • 范式颠覆的核心：Reis 的原型击穿了数据基础设施的一个默认假设——“Agent 就是取代人类分析师去查询同一个数据仓库”。他指出共享数仓模型在 Agent 工作负载下的三个致命缺陷：并发模型不匹配（数十个 Agent 同时发起投机查询，远超人分析师的并发模式）、中间结果无法版本化（Agent 链式推理产生的大量中间结果在共享表中无法追溯）、没有人类兜底检查（数仓设计假设人类会捕捉语义漂移——Remove the human, you remove the error-checking layer）。Reis 的方案将信任从”机构信任”（信任数仓因为数据团队建设维护了它）转移到”密码学信任”（信任一个数据切片因为它的合约摘要和内容哈希都是可机械验证的）。

  • Ananth 的谨慎回应：DEW 主编 Ananth 在编者按中表达了认同但也提出了核心顾虑——“数据不能承受同一事实被多个 Agent 锁在不同版本中的代价。这也是我判断下一代数据工具将大量投入的领域。“这触碰了 Agent 数据库模型最棘手的开放问题：共识机制——当两个 Agent 对同一指标的计算结果不一致时，谁来仲裁？

  • Netflix 自建 LLM 推理平台：Netflix 技术博客同期发布了名为《In-House LLM Serving at Netflix》的文章。核心教训是”模型质量存在于推理细节中”——guided decoding、batch-aware constraint logic、API 兼容性和可观测性共同决定了原型能否演进为可靠基础设施。Netflix 选择自建而非依赖第三方 API，直接原因是延迟可控性和批量推理的约束逻辑优化——这背后是一个更大规模的趋势：当 Agent 成为企业数据的主要消费者时，推理基础设施变得和存储/计算基础设施一样关键。

  • RocksDB MVCC 与事务的工程深度：Artem Krylysov 的《How MVCC and Transactions Work in RocksDB》是本周最”硬核”的技术文章。RocksDB 的 LSM 架构天然适配 MVCC——不可变版本 + 序列号提供了多版本基础——但 SuperVersions、合并规则和快照隔离三者之间的交互极其微妙。文章的核心警示是：RocksDB 的原生事务是本地化、可配置的层，不是全局串行化保证——乐观提交适合低冲突场景、悲观锁适合热键操作、范围幻读仍需显式范围锁。

  • 其他值得关注的分享：Datafold 梳理了现代数据栈中存活至今的全部开源工具（The Modern Data Stack - Open Source Edition），Airbnb 分享了将 7 年用户行为和 21 天浏览历史压缩为每日向量的个性化搜索管道，JioHotstar 揭示了广告请求工程在 100ms 延迟窗口内完成的资格过滤+频控+瀑布流决策，Bojan Ciric 提出”Knowledge Spine”概念——本体论从文档走向可查询的生产基础设施。

行业影响

Joe Reis 的原型不仅是技术演示，更是对”Agent 时代数据基础设施该长什么样”的一次思想实验。如果 Agent 真的成为数据的主要消费者——而非人类分析师的替代品——那么当前以”一个共享数仓服务所有查询方”为中心的架构就需要从根本上重新考虑。Reis 的 DuckDB-per-Agent + 密码学合约方案至少在三个方向上指明了未来：(1) 嵌入式分析引擎（DuckDB 的零依赖特性使之成为 Agent 侧的理想选择）、(2) 内容寻址的数据交换（DEU 模型）、(3) 机器可验证的语义合约（Malloy + 摘要）。Ananth 提出的”同一事实多版本”问题确实是最难的一环——但正是这样的问题，才值得下一代数据工具投入。

相关链接

编者评

本期三条动态共享一个惊人的叙事一致性——从 Google 的开放格式到阿里云的商业平台，再到独立思想者的架构提案，DataInfra 社区正在 7 月的最后一周同步回答同一个问题：当数据的主要消费者从人类变成 Agent 时，基础设施需要做什么？OKF v0.2 在格式层引入信任信号，Dataphin V6.2 在平台层嵌入知识图谱和向量检索，Joe Reis 在架构层提出 DuckDB-per-Agent——三层叠加，勾勒出了一条从”格式→平台→架构”的 Agent-First 演进路径。Gartner 同期发布的数据中心支出 62.5% 暴增预测不是巧合——这条演进路径的背后是真实的基础设施投资和工程建设在发生。一个值得关注的信号是：本期三条动态都涉及了”信任的机械化和可验证化”——OKF v0.2 的 attestation 和 sources、Dataphin Dataset API 的向量检索+血缘关联、Joe Reis 的三层密码学合约。当人类不再是唯一的数据消费者时，传统的”人类审核”信任模式必须被机械化的信任验证所取代。这可能是 Agent 时代 DataInfra 最深刻的结构性变革。