datainfra前沿动态 · Vol.40

Anyscale 签署协议加入 Nscale：Ray 生态迎来软硬一体转折点；AWS MSK Express 推出 Kafka-to-Iceberg 零连接器流式写入；Gartner 上调 2026 IT 支出至 $6.37T

本期聚焦 DataInfra 三条跨层动态：Anyscale 签署最终协议加入 Nscale，Ray 生态从纯软件框架走向软硬一体垂直整合；AWS MSK Express 推出 Kafka 到 Iceberg 流式表零连接器交付，将流批一体门槛降至数次点击；Gartner 上调 2026 全球 IT 支出预测至 $6.37 万亿，数据中心系统支出暴增 62.5%，确认为史上最大基础设施建设项目。

DataInfra Anyscale Nscale Ray 分布式计算 软硬一体 PyTorch Foundation 开源 AWS MSK MSK Express Apache Kafka Apache Iceberg S3 Tables 流式处理 Kafka Connect 零连接器 Gartner IT支出 数据中心 IaaS AI基础设施

本期追踪到三条 DataInfra 动态，从生态并购、产品发布到市场信号，共同指向一个正在加速的趋势：AI 基础设施正在从”软件层单点优化”进入”软硬一体垂直整合”的新阶段。2026 年 7 月 30 日，Anyscale（Ray 的缔造者）签署最终协议加入 neocloud Nscale——这是 Ray 生态从 UC Berkeley 实验室诞生的第 10 个年头，也是其从纯开源软件框架迈向”硅到软件”全栈优化的分水岭。同日，AWS 发布 MSK Express brokers 的 Kafka-to-Iceberg 流式表交付——无需 Kafka Connect、无需 Flink 作业、无需自定义消费者，数次点击即可将 Kafka Topic 持续物化为 S3 Tables 上的 Iceberg 表，号称比自管理方案降低 60% 成本。三天前的 7 月 27 日，Gartner 大幅上调 2026 年全球 IT 支出预测至 $6.37 万亿（+14.2%），其中数据中心系统支出暴增 62.5% 至 $8,220 亿，被 Gartner 杰出 VP 分析师 John-David Lovelock 定性为”人类有史以来最大的基础设施建设项目”。三条动态分别从框架生态层、流处理产品层和市场投资层，锚定了 DataInfra 正在经历的范式转换。

Anyscale 签署协议加入 Nscale：Ray 生态从纯软件框架迈向软硬一体垂直整合

事件概述

2026 年 7 月 30 日，Anyscale 五位联合创始人——Robert Nishihara、Philipp Moritz、Ion Stoica、Richard Liaw 和 Edward Oakes——联名发布博客，宣布 Anyscale 已签署最终协议，加入 neocloud 厂商 Nscale。交易的完整条款未披露，但博文明确了四个关键承诺：(1) 加倍投入 Ray 开源社区；(2) Nscale 计划以白金会员身份加入 PyTorch 基金会；(3) Anyscale Platform 客户将获得 Nscale 的显著 GPU 算力扩容；(4) Anyscale Platform 将在交易完成后继续支持所有主流云厂商。

这是 Ray 从 2016 年在 UC Berkeley RISELab 诞生、到 2019 年 Anyscale 成立商业化、再到今天走向”软硬一体”垂直整合的第三个关键节点。博文特别提到，过去一个季度是 Anyscale 历史上增长最强劲的季度，营收环比增长超过 70%。

技术解析

  • “瓶颈已跨越整个技术栈”的核心叙事：博文的标题论点——“瓶颈现在跨越整个技术栈”——直接挑战了 DataInfra 领域长期以来”软件可以独立优化”的假设。创始人们指出，数据处理正在变成多模态、推理密集、GPU 原生的负载；强化学习将训练、推理和仿真混合在单一工作负载中；推理需要 disaggregation、超长上下文 GPU 内存管理和 MoE 架构的复杂路由与故障处理。这些挑战”与硬件不可分割”——软件必须感知机架和集群拓扑、容量、硬件异构性、计算 disaggregation 以及每一层的故障模式。单独优化一层已经不够，未来需要跨越软件和硬件栈每一层的深度联合优化。这标志着数据基础设施的优化范式从”分层解耦”向”垂直整合”的结构性转变。

  • Nscale 的选择逻辑：硅到软件的完整控制：Nscale 与其他 neocloud 的关键差异在于其垂直整合深度——从土地、电力到数据中心和加速计算的物理基础设施全栈掌控。多 GW 级的管线直接回应了 AI 基础设施的最大物理约束（电力+算力可用性）。Nscale 还是首批大规模部署下一代 GB300 NVL72 系统的厂商之一。除了物理基础设施，Nscale 还自建了大规模推理平台软件，这与 Ray Serve 的推理能力形成了从硬件到软件的完整互补。Anyscale+Ray 提供分布式计算软件层，Nscale 提供从芯片到机架到数据中心的物理层——两者的结合在理论上可以实现单一厂商都无法做到的跨层协同优化。

  • 开源承诺的三重保险：面对”Ray 被收购后会不会闭源”的社区关切，博文给出了三重保险：(1) Ray 在 PyTorch 基金会治理下，与 PyTorch 和 vLLM 同属一个中立的开源组织；(2) Google、NVIDIA、Microsoft、Red Hat、阿里巴巴等厂商在过去一年持续为 Ray 贡献代码，Ray 的开源价值依赖于其中立性和可移植性；(3) Nscale 计划以白金会员身份加入 PyTorch 基金会。这些信号表明 Ray 的开源治理不会因收购而弱化。

  • 数据处理正在变成 GPU 负载：博文中一个关键的架构断言是”Data processing is becoming multimodal, inference-heavy, and GPU-based”——这与 Anyscale 6 月 16 日的博客”Data Processing is Becoming a GPU Workload”一脉相承。当数据处理的”重型”操作（嵌入生成、推理标注、多模态特征提取）都需要 GPU 时，分布式计算框架与硬件加速器的协同设计就不再是可选的优化，而是性能的前提条件。这解释了为什么 Anyscale 需要加入一家拥有自己硬件的公司。

行业影响

Anyscale 加入 Nscale 是 AI 基础设施领域垂直整合浪潮中的一个标志性事件。如果回顾过去两年的趋势脉络：Databricks 收购了 MosaicML 和 Tabular（Iceberg/Rust 团队），Snowflake 收购了 Ponder（Modin 团队）和 Night Shift Development（数据工程工具链），Confluent 收购了 WarpStream（Kafka 兼容的 BYOC 流平台），dbt Labs 与 Fivetran 完成合并——基础设施领域的整合一直在加速。但 Anyscale→Nscale 的不同在于：它不是在”数据处理栈内部的横向整合”，而是在软件层与硬件层的纵向跨越。

这一事件对 DataInfra 社区有两个直接影响。第一，Ray Summit 2026 将于 8 月在旧金山举行，届时将是合并后首次公开亮相，预计会披露更多联合路线图的细节。第二，Nscale 的 GPU 算力将注入 Anyscale Platform，这意味着 Ray 用户在分布式数据处理和推理工作负载上将获得显著的算力弹性。在一个 GPU 供不应求的市场中，“框架+算力绑定”可能成为 Anyscale Platform 的差异化竞争优势。

从更大的叙事看，Anyscale→Nscale 与 Vol.37-39 持续追踪的 Google Cloud Agent-First DataInfra 叙事属于同一大趋势的不同侧面：Google 在软件层重新定义”Agent 如何访问数据”，Nscale/Anyscale 在硬件+软件层重新定义”AI 工作负载如何高效运行”——两者都是为 AI 成为数据的主要消费者做基础设施准备。

相关链接

AWS MSK Express 推出 Kafka-to-Iceberg 零连接器流式交付：将流批一体门槛降至数次点击

事件概述

2026 年 7 月 30 日，AWS 三位作者 Shakhi Hali、Mazrim Mehrtens 和 Huyam Hasan 在 AWS Big Data Blog 上正式发布了 Amazon MSK Express brokers 的 Delivery to Streaming Tables for Apache Iceberg——一项将 Kafka Topic 数据持续物化为 S3 Tables 上可查询 Iceberg 表的全托管能力。核心卖点：零连接器、零 Flink 作业、零自定义消费者——选择 Kafka Topic、选择 S3 Tables 作为目标，数据在数分钟内变为 Athena、Redshift、Spark 可查询的只读 Iceberg 表。AWS 宣称，与自管理方案相比，可降低 60% 成本，并通过智能内联压缩（inline compaction）优化 Parquet 文件尺寸，使下游查询成本再降 30%。该能力已在所有 MSK Express brokers 可用区域正式上线。

技术解析

  • 重新定义”流到湖仓”的架构复杂度：传统上，Kafka 到 Iceberg 的数据交付需要三层自管理基础设施：(1) Kafka Connect 集群（维护 connector 配置、处理故障重启）；(2) 数据格式转换层（Avro/Protobuf/JSON → Parquet）；(3) 压缩作业（解决小文件问题，平衡数据新鲜度与查询效率）。MSK 的新能力将这三层全部吸收为 Broker 内部的原生功能。用户在 MSK Console 中几次点击即可完成端到端配置，API 层面也支持程序化管理，适用于 Agent 驱动的基础设施即代码工作流。Schema 管理通过 AWS Glue Schema Registry 完成，表自动注册到 Glue Data Catalog，使其可通过 Glue Data Catalog Business Context and Semantic Search（Preview）被 AI Agent 发现和语义推理。

  • 写协调与恰好一次语义的内置实现：多个高吞吐 Kafka 分区同时写入 Iceberg 表时，缺乏协调会导致提交冲突、数据新鲜度延迟和性能退化。MSK 的流式表交付在 Broker 内部实现了写协调和恰好一次（exactly-once）语义——多个分区的数据在写入前先经过内建协调层，避免 Iceberg 快照冲突。这解决了一个在自管理 Kafka-to-Iceberg 管道中常见的隐性工程成本：处理”上午 9 点有 2 个分区同时 commit 导致 Iceberg 表进入不一致状态”这类问题需要的监控、告警和手动修复循环。

  • 内联压缩：解决”小文件之痛”的优雅方案：流式写入天然产生大量小 Parquet 文件，严重拖累查询性能。传统方案是在流写入之外单独运行压缩作业（如 Spark 定时 Compaction Job），这引入了一个痛苦的选择：高频率压缩消耗计算资源但查询快，低频率压缩省资源但查询慢。MSK 的做法是在写入过程中进行智能内联压缩——在数据从 Kafka 消费到写入 Iceberg 的过程中完成文件合并，无需额外基础设施。AWS 宣称这一优化使下游查询成本再降 30%。

  • 双目标支持与 Agent Skill 就位：除 S3 Tables（全托管 Iceberg）外，该能力还支持将 Kafka 数据以原始格式投递到通用 S3 桶，用于归档、备份或 ML 训练数据交付。同时发布的还有 Streaming Tables Agent Skill——一个通过 SKILL.md 自动发现的 Agent 辅助工具，允许开发者通过自然语言提示词让 Agent 自动配置 MSK 集群的流式表集成。这延续了 Vol.38 报道的 AWS Spark Upgrade Agent 的 MCP 驱动 Agent 工具路线。

行业影响

AWS MSK 的这项能力是”serverless streaming to lakehouse”品类的标志性产品。它直接对标了 Confluent 的 Tableflow（Kafka Topic → Iceberg Table 的托管转换）、Decodable 和 Redpanda 等产品在流批一体方向上的布局。但 MSK 的差异化在于：(1) 作为 AWS 原生服务，与 Glue Data Catalog、Athena、Redshift、EMR 的集成是无缝的；(2) 目标端 S3 Tables 是 AWS 自建的 Iceberg 全托管存储，不需要用户维护 Iceberg Catalog；(3) 内联压缩消除了单独 Compaction 作业的需要。

从行业趋势看，这项发布标志着”流批一体”正在从一个需要大量工程投入的架构模式，变成云厂商的原生基础设施能力。当 Kafka→Iceberg 的流式交付可以从”搭建管道”简化为”勾选配置”时，实时数据消费的门槛被大幅降低——这不仅影响数据工程团队的工作方式，也为 Agent 驱动的实时分析场景（如用户行为实时归因、异常检测即时下钻）提供了更低的实现成本。

与 Vol.39 报道的 Google Cloud Borderless Lakehouse 跨云端联邦查询形成对照：Google 在解决”数据分布在不同云上怎么办”，AWS 在解决”流数据怎么无缝进入湖仓”——两者分别攻破了多云端数据和实时流数据这两个湖仓架构的最终壁垒。

相关链接

Gartner 上调 2026 全球 IT 支出至 $6.37T：数据中心暴增 62.5%，确认为史上最大基础设施建设项目

事件概述

2026 年 7 月 27 日，Gartner 发布最新季度 IT 支出预测，将 2026 年全球 IT 支出大幅上调至 $6.37 万亿，同比增长 14.2%。其中数据中心系统支出从 2025 年的 $5,060 亿暴增至 $8,220 亿（+62.5%），IaaS 从 $2,220 亿增至 $2,870 亿（+29.3%），软件从 $1.27 万亿增至 $1.47 万亿（+15.5%）。Gartner 杰出 VP 分析师 John-David Lovelock 将此定性为”人类有史以来最大的基础设施建设项目”——“hyperscalers 和企业正在快速扩张下一代数据中心容量，由 AI 工作负载扩展和高性能计算需求驱动”。

这是 Gartner 在 Vol.37 报道的”数据中心系统支出暴增 62.5% 至 $8,220 亿”基础上对整体 IT 支出的进一步上调确认。Vol.37 引用的是此前发布的细分数据，本次发布的是向客户完整交付的 2Q26 更新，整体 IT 支出从预期 +10.7% 上调至 +14.2%，反映了更强信心的市场扩张判断。

技术解析

  • “非普涨行情”的分化：Lovelock 特别强调这不是”水涨船高”的普涨市场——“技术预算正受到通胀、供应短缺、硬件和内存价格上涨、AI 资助计划和优先事项转移的多重挤压”。数据中心系统（+62.5%）和 IaaS（+29.3%）是唯二的超高速增长板块，而设备（+9.8%）和通信服务（+4.4%）增速远低于平均值。这意味着 IT 支出的增量几乎全部集中在 AI 基础设施相关领域，传统的 IT 消费模式正在被结构性改变。

  • “AI 基础设施”从赛道变为宏观经济变量：$8,220 亿的数据中心系统年支出是一个什么概念？对比来看，这超过了全球多数国家的年度军费开支，约等于 2025 年全球半导体市场总规模的 1.3 倍。当一个单一技术类别的资本支出达到这种量级时，它已经不再是一个”IT 行业内部的赛道”，而是足以影响全球电力基础设施、半导体供应链、房地产市场和劳动力分布的宏观经济力量。这解释了为什么 Anyscale 选择加入 Nscale——当基础设施投资的规模如此巨大时，“纯软件框架”的成本结构面临根本性的规模不经济。

  • 从预测修正看市场信心：Gartner 将整体 IT 支出增长从 10.7% 上调至 14.2%，其中”AI 相关支出”被特别标注为增量增长的主要集中领域。结合 Lovelock 的定性判断——“增速最快的领域预计是 AI 相关基础设施、云服务和软件”——可以推断 AI 基础设施的资本支出信心在 2026 Q2 是上升而非下降的。这对于 DataInfra 领域的创业公司和开源项目而言是一个关键的融资和市场时机信号。

行业影响

Gartner 的这份预测为 Vol.37-39 三期中追踪的 Agent-First DataInfra 趋势提供了宏观经济层面的确认：当基础设施投资以每年 62.5% 的速度增长时，所有”Agent 需要怎样的数据基础设施”的讨论都不再是学术问题，而是正在被数千亿美元资本支出实际建设的物理现实。Google Cloud 的 Borderless Lakehouse（Vol.39）、Conversational Analytics GA（Vol.38）、OKF v0.2（Vol.37）——这些 Agent-Native 数据基础设施产品的密集发布，与 Gartner 预测的 $8,220 亿数据中心投资之间，是供给与需求的相互印证。

一个值得追踪的问题是：这 $8,220 亿中有多少会流向”软硬一体”的垂直整合平台（如 Nscale+Anyscale 模式），有多少会流向”软件定义、硬件解耦”的云原生平台（如 Google Cloud 模式）？Vol.39 的 Borderless Lakehouse 代表了后者的极致——以 Iceberg REST Catalog 为标准协议，在任何云、任何 Catalog 之间建立互操作性。而 Anyscale→Nscale 代表了前者的极致——从芯片到框架的全栈控制。两条路线在 $6.37 万亿的市场上不是零和博弈，但它们对”数据基础设施的核心价值到底在软件层还是硬件层”这一根本问题的回答，将在 2026 H2 和 2027 年产生深刻的产业影响。

相关链接

编者评

Vol.40 的三条动态——Ray 生态软硬一体并购、Kafka-to-Iceberg 零连接器产品化、Gartner $6.37T 市场确认——本质上是同一枚硬币的三面：AI 基础设施正在从”可选的优化层”变成”必须的基础能力层”。当 Nscale 收购 Anyscale 时，它在回答”分布式计算框架如何与硬件深度耦合”；当 AWS 将 Kafka-to-Iceberg 变成原生 Broker 功能时，它在回答”流批一体如何从工程投入变成勾选配置”；当 Gartner 用 $8,220 亿的数据中心和 62.5% 的增速说话时，它在回答”这一切不是泡沫——钱已经在建了”。对 DataInfra 从业者而言，本期三条动态的核心启示是：2026 年下半场，数据基础设施的竞争已经从”功能多少”进入”架构深度”阶段——谁能更高效地将软件与硬件协同、将流与批统一、将 Agent 与数据连接，谁就在为下一个十年的数据消费范式铺设轨道。