datainfra前沿动态 · Vol.31

AWS 多云湖仓 Agentic AI 架构；Razorpay MSK 实时异常检测；Apache Ossie 进入 ASF 孵化；Prefect 收购 Dagster

本期聚焦数据基础设施四大事件：AWS 提出以 Iceberg REST Catalog 为基础的多云湖仓 Agentic AI 四层治理架构，Razorpay 基于 MSK+Flink 构建 50 亿事件/日实时异常检测，语义层标准 OSI 更名 Apache Ossie 进入 ASF 孵化，Prefect 收购 Dagster 重塑数据编排格局。

DataInfra AWS Multi-cloud Lakehouse Iceberg Agentic AI MSK Apache Flink Real-time Anomaly Detection Apache Ossie Semantic Layer Prefect Dagster Orchestration MCP FastMCP

本期聚焦 7 月 13 日集中爆发的四起重磅事件：AWS 发布多云湖仓 Agentic AI 架构系列文章首篇，以 Iceberg REST Catalog 统一元数据层、Bedrock AgentCore 驱动 AI 代理、四层安全治理模型保障生产合规；Razorpay 公开其基于 Amazon MSK + Apache Flink + ClickHouse 的实时异常检测系统 ADA，日处理超 50 亿事件、检测延迟低于 30 秒、成本降低 80%；语义层开放标准 OSI 更名 Apache Ossie 正式进入 ASF 孵化器，50+ 组织参与共建；Prefect 宣布收购 Dagster，数据编排领域两大 Airflow 挑战者合一，创始人 Nick Schrock 确认离开。

AWS 发布多云湖仓 Agentic AI 架构：以 Iceberg 和 Bedrock 为基座的”联邦式治理”

事件概述

2026 年 7 月 13 日，AWS 大数据博客发布”Multi-cloud lakehouse architecture on AWS for Agentic AI”系列文章首篇（共四篇），提出了一个以 Apache Iceberg 开放表格式为基础、以 AWS Glue Data Catalog 为统一元数据层、以 Amazon Bedrock AgentCore 为 AI 代理运行时的多云湖仓架构方案。这是 AWS 首次系统性阐述如何在不进行大规模数据迁移的前提下，构建支持 Agentic AI 的统一、可治理的跨云数据访问层。

技术解析

  • Iceberg REST Catalog 联邦：核心设计是利用 AWS Glue Data Catalog 实现 Iceberg REST Catalog API 规范，将 Databricks、Snowflake 等平台上的 Iceberg 表无缝联邦到 AWS 统一元数据层。这意味着在不同云平台上以 Iceberg 格式存储的数据，可以通过统一的目录接口被 Amazon Athena、Redshift Spectrum 和 AI 代理发现和查询——数据留在原地，元数据统一管理。

  • 四层 AI 代理安全治理模型：文章提出了分层治理框架，从身份认证（Layer 1: IAM/SSO）到数据可见性控制（Layer 2: Lake Formation 细粒度权限）到代理行为约束（Layer 3: 只读限制 + 查询行数/扫描上限）到输出安全过滤（Layer 4: PII 过滤 + Bedrock Guardrails + CloudTrail 审计），形成完整的”谁能访问→能看到什么→能做什么→对外揭示什么”的治理闭环。

  • 三模式数据访问策略：目录联邦（Iceberg REST，适合已有 Iceberg 表的场景）、查询联邦（SageMaker/Glue 连接器，适合非 Iceberg 平台如 BigQuery、Azure SQL）、数据摄取（Zero-ETL/ETL，适合高频低延迟场景）三种模式按需组合，避免”一刀切”式的强制迁移或全量联邦。

  • 生产陷阱与防护：文章详细阐述了元数据漂移（事件驱动刷新策略）、查询联邦延迟（非确定性处理）、AgentCore 记忆状态成本优化、LangGraph 工具调用循环防护、联邦代理架构幻觉风险（三步验证：来源验证→合理性检查→交叉验证）等真实生产环境中的关键问题。

行业影响

这是 AWS 在 Agentic AI 数据基础设施领域的”总纲”式架构宣言。与 Databricks 的 Unity Catalog + Omnigent 体系强调”单平台内生治理”不同，AWS 的方案更强调”跨平台联邦式治理”——以开放标准（Iceberg REST Catalog）为纽带，将异构数据平台纳入统一的代理可访问范围。考虑到 AWS 在企业多云部署中的实际份额，这一架构如果成功落地，将显著推动 Iceberg REST Catalog 成为跨云元数据互操作的事实标准。

值得注意的是，AWS Interconnect – multicloud 已对 GCP 正式 GA（Azure 和 OCI 即将推出），解决了跨云代理访问的私有网络连接问题——这是”联邦式治理”从 PPT 到生产的关键基础设施拼图。

相关链接

Razorpay 基于 MSK 的实时异常检测：50 亿事件/日、30 秒延迟、成本降低 80%

事件概述

2026 年 7 月 13 日，印度支付巨头 Razorpay 在 AWS 博客上公开了其自研实时异常检测平台 ADA（Anomaly Detection and Alerting）的完整架构。该系统基于 Amazon MSK（Kafka）+ Apache Flink + ClickHouse 构建，月处理超 5 亿笔交易、日处理超 50 亿个事件，流模式检测延迟低于 30 秒，系统可用性达 99.99%，同时将监控成本从旧架构的约 50 万美元/年降低了约 80%。

技术解析

  • AdaDSL 声明式检测语言：ADA 最核心的创新是自研的领域特定语言 AdaDSL，让业务专家”声明要检测什么”而非”如何检测”。单一 DSL 定义同时驱动批量处理和流处理管道，规则通过 MSK 的 snapshot topic 热更新无需重启管道。配合动态基线（融合日历感知模式、时段、节假日调整）和 ML 兼容阈值，虚假告警减少 90% 以上。

  • Flink 五阶段流处理管道：Kafka Source（exactly-once 消费）→ 事件时间分配 + Watermark（2 倍窗口容忍度）→ KeyBy + 窗口聚合（按 tenant_id 和 entity_key 分区）→ Async I/O（从 ClickHouse 异步获取预计算基线，支持 1,024 并发请求）→ 规则评估（包括 CEP 模式匹配，如”连续 5 次拒绝后 1 次成功 = 卡片测试欺诈”）。异常结果双写 ClickHouse（持久化）+ Alert Gateway（Slack/PagerDuty 即时通知）。

  • 多租户隔离架构：Payments、Payroll、Banking 各业务单元在共享基础设施上运行独立检测逻辑，通过 ClickHouse 行级安全、MSK 主题分区、Flink 管道租户分区实现三层隔离。

  • 可靠性与成本对比：旧架构基于 Pinot + ThirdEye（25 万许可费 + 25 万基础设施），新架构 MSK 跨 3 个可用区 replication.factor=3，Flink Checkpoint 存入 S3 提供 exactly-once，幂等 Sink 使用去重键 tenant:AdaDSL:version:entity:window_start。

行业影响

Razorpay 的 ADA 系统是流处理在金融风控领域的标杆案例。5 个值得关注的技术决策：(1) Flink CEP 用于序列模式检测而非简单的阈值告警——这是流处理从”统计”升级为”推理”的关键跃迁；(2) 声明式 DSL 替代硬编码检测逻辑，使领域专家而非工程师定义异常规则；(3) Async I/O 调用 ClickHouse 获取预计算基线而非在 Flink 内维护——将”基线计算”和”实时检测”解耦；(4) 多租户共享基础设施但逻辑隔离——避免了每个业务线独立部署一套流处理管道的成本膨胀；(5) 事件时间而非处理时间窗口——确保乱序和延迟到达的数据不影响检测准确性。

对于正在评估 MSK/Flink 技术栈做实时异常检测的团队，ADA 的架构决策和性能指标提供了宝贵的生产参考。

相关链接

Apache Ossie（Incubating）：语义层开放标准进入 ASF 孵化，50+ 组织共建

事件概述

2026 年 7 月 13 日，dbt Labs 和 Dremio 同时发文宣布：开放语义互操作标准 Open Semantic Interchange（OSI）已被 Apache 软件基金会（ASF）接受进入孵化器，并正式更名为 Apache Ossie（Incubating）。该项目自 2025 年 11 月启动，已吸引 50+ 组织参与，来自 Snowflake、Salesforce、Databricks、dbt Labs、RelationalAI、GoodData、Honeydew 等公司的贡献者已提交 100+ commits 和 35+ 合并 PR。

技术解析

  • Ossie 是什么：Ossie 是一个同时覆盖语义层（Semantic Layer）和本体论（Ontology）的开放规范，定义了厂商中立的格式来表达业务指标、维度、关系和业务规则。它解决的核心问题是：确保”月活用户”这个业务概念在 CRM、数据仓库、BI 工具中拥有一致的定义、解释和解析结果。当人类分析师或 AI 代理查询数据时，Ossie 提供共享的、机器可读的语义格式。

  • 治理模型升级：从社区驱动的 GitHub 仓库变为 ASF 孵化项目后，Ossie 将采用公开邮件列表、正式讨论与投票流程、基于贡献而非雇主归属的 Committer 制度。旧有 OSI 邮件列表将退役，社区迁移至 ASF 基础设施。

  • 已落地实现：三个工作组（Metric Language、Catalog、Ontology）各有专职 Lead 和公开会议，Ossie-to-dbt Semantic Layer 转换器和 Apache Polaris 转换器已经合并入仓库。社区下一步计划包括：深化规范表达力（表达式语言、高级指标逻辑、窗口函数）、构建更多平台转换器、标准化语义查询规范、与 Apache Polaris 集成实现从目录直接发现语义模型。

行业影响

Ossie 进入 ASF 孵化标志着语义层标准化从”厂商主导”走向”社区治理”的关键转折。过去语义层被各平台视为差异化竞争优势（Looker 的 LookML、dbt 的 Semantic Layer、Cube 的数据模型），导致”同一个指标在不同工具中是不同定义”的困境。Ossie 提供了类似 Iceberg 之于表格式的角色——一个中立的、跨平台的、开放的标准。

对于正在构建 AI 数据代理的团队，Ossie 解决了一个极其现实的问题：代理生成的 SQL 查询是否使用了正确的指标定义？如果没有标准化的语义层，“月活用户”可能被代理解释为 7 个不同的 SQL 查询——这正是当前 AI 数据代理在准确性和可信度上的核心瓶颈。Ossie + Open Knowledge Format（Google Cloud 同期推动）+ 知识目录的趋势表明，2026 年下半年的数据基础设施竞争正在从”谁的数据更快”转向”谁的 AI 更理解数据”。

相关链接

Prefect 收购 Dagster：数据编排两大 Airflow 挑战者合一，创始人 Nick Schrock 离开

事件概述

2026 年 7 月 13 日，Prefect 宣布收购 Dagster，将数据工作流编排领域最大的两个 Airflow 替代方案合并为一家公司。Dagster 和 Dagster+ 将保留现有名称、定价和产品路线图，Dagster 团队约 40 人并入 Prefect。Dagster 创始人 Nick Schrock 在个人博客中明确表示将离开该项目和公司，另一位联合创始人 Pete Hunt 将作为战略顾问留任。

技术解析

  • 产品定位互补：Prefect 创始人 Jeremiah Lowin 将收购逻辑阐述为 AI 代理运行所需的三个组件：Dagster 负责目标设定（定义和追踪产出），Prefect 负责执行（运行实际工作），FastMCP（Prefect 的 MCP Python SDK，已被 Anthropic 采纳为官方 MCP Python SDK）负责控制（管理代理可访问的外部系统）。这一”目标→执行→控制”的三段论将两家公司的技术积累重新映射到 Agentic AI 编排框架中。

  • 从数据管道到 AI 代理编排的转型轨迹：Prefect 3.0（2024）已明确聚焦 Agentic 工作流，Dagster 先后发布 Components（YAML 驱动的可复用管道构建块）和 Compass（Slack 内自然语言数据查询），双方都在从”传统数据管道编排”向”AI 代理运行时”演进。FastMCP 的崛起是这一转型的关键变量——它让 Prefect 在 MCP 生态中占据了类似”SDK 标准制定者”的位置。

  • 创始人的离场信号：Nick Schrock 的离开姿态值得关注。他在个人博客中使用”moving on from the project and company”的措辞（而非”excited about the next chapter”的标准话术），暗示这是一次”被收购而非主动合并”的交易。作为 Dagster 的灵魂人物（曾任 Facebook React 团队技术负责人、GraphQL 联合创造者），Schrock 的离开意味着 Dagster 的产品哲学可能在 Prefect 体系下发生转向。

行业影响

这是数据编排领域的标志性整合事件。过去七年，Airflow 作为默认工作流编排工具的地位不断受到 Prefect 和 Dagster 从不同方向的挑战——Prefect 强调简化生产可靠性，Dagster 强调资产感知和可观测性。两者合并后，新的”中心重心”将形成对 Airflow 在”下一代编排”（即 AI 代理编排而非传统 ETL 调度）赛道上的更强竞争压力。

更宏观的视角：FastMCP 被 Anthropic 采纳为官方 MCP Python SDK 是这条新闻中最容易被忽视但可能最重要的技术事实。Prefect 通过 FastMCP 获得了 MCP 生态的”标准制定权”，收购 Dagster 补齐了”资产定义和追踪”能力，这使合并后的实体在”Agentic 编排”领域拥有独特的”协议标准（MCP）+ 执行引擎（Prefect）+ 资产模型（Dagster）“三位一体优势。

相关链接

编者评

一个罕见的”四重重磅发布日”——7 月 13 日同时出现了架构（AWS 多云湖仓 Agentic AI）、工程实践（Razorpay MSK 异常检测）、标准（Apache Ossie）和产业整合（Prefect/Dagster）四个维度的进展。将它们串联起来的暗线是：AI 代理正在从”模型问题”变为”数据基础设施问题”。AWS 的四层治理模型本质上是在回答”代理如何安全地访问跨云数据”，Ossie 是在回答”代理如何正确理解数据含义”，Prefect/Dagster 是在回答”代理如何被可靠地编排执行”，Razorpay 的 Flink CEP 管道则展示了”代理的实时推理能力需要什么样的数据基础设施来支撑”。当整个 DataInfra 行业都在围绕”让 AI 代理可靠地使用数据”这一命题重新定义自己的角色时，传统的”存储—计算—传输”三层模型正在被”治理—语义—编排”的新三层所覆盖。