datainfra前沿动态 · Vol.1

Spark RTM正式GA进入亚秒级流处理；Anyscale Agent Skills让AI编程代理掌握Ray；Iceberg v3四大引擎全面押注开放湖仓新标准

创刊号聚焦DataInfra三大动态：Databricks发布Spark Real-Time Mode正式版将Structured Streaming推入亚秒延迟时代、Anyscale推出Agent Skills让Claude Code和Cursor原生掌握Ray分布式开发、以及Apache Iceberg v3获Snowflake/Databricks/Google/Dremio四大引擎全力支持成为数据湖仓事实标准

DataInfra Spark Databricks RTM 流处理 Ray Anyscale Agent Skills AI编程 Iceberg v3 数据湖仓 开放格式 LanceDB

创刊号聚焦DataInfra三大动态：Databricks发布Spark Real-Time Mode正式版，Structured Streaming从秒级延迟迈入亚秒级，流处理不再需要专用引擎；Anyscale推出Agent Skills，让Claude Code和Cursor原生掌握Ray分布式计算开发，AI编程代理从”写Python”进化到”写分布式Python”；Apache Iceberg v3获Snowflake、Databricks、Google、Dremio四大引擎全力押注，删除向量和VARIANT类型让开放湖仓从”候选标准”变为”唯一标准”。

Spark Real-Time Mode正式GA：Structured Streaming进入亚秒级延迟时代

事件概述

Databricks宣布Apache Spark Structured Streaming的Real-Time Mode（RTM）正式GA。RTM自2025年8月进入Public Preview以来，经过持续迭代，现已在Databricks Runtime 16.4及以上版本全面可用（推荐DBR 18.1以获取最新特性）。最关键的是，RTM的无状态转换功能已作为开源特性合并进Apache Spark 4.1——这意味着开源Spark用户也能享受亚秒级流处理能力，不再需要维护Kafka Streams或Flink等独立流处理引擎。

技术解析

  • 亚秒级延迟：RTM通过RealTimeTrigger替代默认的ProcessingTime触发器，将Structured Streaming的端到端延迟从秒级压缩至亚秒级。核心思路是绕过Spark传统的微批处理模型，采用连续处理模式，数据到达即处理而非等待批次窗口。
  • Spark 4.1开源支持：无状态转换（projection、filtering、UDF）的RTM已进入开源Apache Spark 4.1。状态操作（transformWithState）目前在Databricks平台独占，但社区路线图显示状态RTM的开源正在推进中。
  • 异步状态检查点：GA版本新增异步状态和进度检查点机制，将检查点写入与事件处理解耦，对无状态和有状态管线均有延迟改善。
  • 初始状态加载：transformWithState现在支持从已有查询的检查点或Delta表加载初始状态——这对状态特征工程至关重要，无需”从零开始”预热。
  • 标准访问模式支持：RTM现支持Python工作负载的标准访问模式（Standard Access Mode），降低了资源使用门槛。

行业影响

RTM的GA标志着Spark从”批处理为主、流处理为辅”正式转向”批流一体”。此前，企业若需要亚秒级流处理，必须并行维护Spark（批处理）和Flink/Kafka Streams（流处理）两套技术栈。RTM让Spark同时覆盖秒级和亚秒级场景，大幅简化了数据架构。但需注意：当前开源版仅支持无状态RTM，有状态流处理仍依赖Databricks平台。对正在评估流处理引擎选型的团队而言，关键判断点是——你的流处理场景中有多少比例是有状态的？如果以无状态为主，开源Spark 4.1 + RTM已可满足；如果重度依赖状态操作，Databricks的独占优势仍不可替代。

相关链接

Anyscale Agent Skills：让AI编程代理原生掌握Ray分布式计算

事件概述

Anyscale推出Agent Skills，让Claude Code和Cursor等AI编程代理获得Ray和Anyscale的原生专业知识。Skills通过Anyscale CLI一键安装，覆盖工作负载生成（LLM Serving、分布式训练、批处理推理、嵌入生成）、平台调试（日志、指标、托管工作空间）、基础设施部署（Kubernetes/VM）三大场景。同步发布的还有Ray 2.55.0/2.55.1，以及Ray Serve的重大性能升级——HAProxy ingress + gRPC直连数据平面，实现推荐系统11.1倍吞吐提升和88% P99延迟下降。

技术解析

  • Agent Skills三组能力：Workload Skills（生成LLM Serving/分布式训练/批处理代码与配置）、Platform Skills（基于日志/指标调试修复生产工作负载）、Infra Skills（Ray on K8s/VM生产级部署引导）。三组Skills协同工作，Anyscale声称开发速度可达通用Agent的5倍。
  • 通用Agent的四个系统性失败模式：资源规划错误（GPU内存/TP配置不当导致OOM）、过时API（Agent生成的Ray代码基于训练数据中的旧版本）、破损配置（缺少字段或无效资源引用）、无法调试循环（Agent无法查询集群实时状态）。Skills正是针对这四个痛点设计。
  • Ray Serve性能飞跃：引入HAProxy替代内置代理作为入口负载均衡器，加上gRPC直连数据平面通信，在DLRM推荐系统场景实现11.1倍吞吐提升、88% P99延迟下降；LLM推理场景同样显著受益。这些优化从Ray 2.55+开始可用，通过环境变量启用。
  • LLM后训练Skill：v0.2.0新增后训练Skill，支持SFT/DPO/GRPO/CPT及Agent调优，使用LLaMA-Factory、SkyRL和Ray Train。

行业影响

Agent Skills代表了DataInfra领域的一个重要趋势：基础设施正在从”人类编写”转向”AI代理编写”。当分布式计算框架的复杂度已经超出一般开发者的认知负荷时，让AI代理来处理GPU内存规划、TP配置、集群调试是自然的演进方向。但更深层的含义是：Ray生态正在从”开发者工具”进化为”AI代理工具”——未来的分布式计算可能不是人写的，而是人描述需求后AI生成的。Ray Serve的HAProxy优化则表明，Ray正在从”开发和实验平台”向”生产级推理平台”转型，直接与Kubernetes-native的服务网格竞争。

相关链接

Iceberg v3四大引擎全面押注：数据湖仓从”候选标准”到”唯一标准”

事件概述

Apache Iceberg v3规范于2025年6月正式通过后，四大湖仓引擎在2026年初密集宣布v3支持：Snowflake于3月4日发布Public Preview，Databricks于4月9日发布Public Preview，Google和Dremio同期跟进。加上AWS Glue 5.1在4月宣布支持Iceberg v3格式（含删除向量和VARIANT类型），以及Redshift RG实例集成了数据湖查询引擎，Iceberg v3在短短一年内完成了从规范到全生态落地的闭环。Iceberg不再只是”候选开放格式之一”——它已经是数据湖仓的事实标准。

技术解析

  • 删除向量（Deletion Vectors）：v3最核心的特性。v2的positional delete files在频繁更新的表上会积累大量小文件，查询时需要逐一匹配过滤——“写入越频繁的表，读取越慢”，恰好与实时分析需求矛盾。v3引入二进制删除向量，将删除标记紧凑编码为位图，查询时直接按位过滤而非逐文件匹配，从根本上解决了CDC和流式写入场景的性能退化问题。
  • VARIANT数据类型：原生支持半结构化数据（JSON等），消除schema-on-write瓶颈。此前处理JSON数据需要预先定义schema或使用字符串类型+运行时解析，v3的VARIANT类型让湖仓直接存储和查询半结构化数据，无需ETL转换。
  • 行级数据血统追踪：内置创建和更新追踪，对受监管行业无需额外工具即可满足合规审计需求。
  • 列默认值：支持表列定义默认值，简化schema演进。
  • Dremio的Autonomous Reflections：Dremio在v3基础上推出自动物化视图——观察查询模式后自动创建、刷新和淘汰物化结果，查询从秒级降至亚秒级，无需手动调优。

行业影响

Iceberg v3的生态闭环标志着数据架构的一个根本性转变：开放格式正在替代封闭数仓。Snowflake和Databricks——此前各自维护专有格式（Iceberg的”竞争者”）——现在都全力押注Iceberg v3，这不是技术妥协，而是市场选择。删除向量解决了v2最被诟病的”频繁更新导致读取性能退化”问题，这意味着Iceberg不再只是”读多写少”的批分析格式，而是可以承载CDC、实时入湖等写入密集场景的全能格式。

对DataInfra从业者而言，关键行动点是：如果你的数据湖仓还在用Hive表或Delta Lake专有格式，现在是规划Iceberg v3迁移的时机。四大引擎的v3 Public Preview意味着生产级支持将在2026下半年到来，提前准备schema演进和删除向量适配是明智的。

相关链接

编者评

创刊号选择的三条动态，恰好勾勒出DataInfra领域2026年的三条主线：流批一体、AI原生基础设施、开放格式统一。Spark RTM让流处理不再是Spark的短板，而是新增长极——从”批处理引擎也能做流”进化到”流批真正一体”。Anyscale Agent Skills则预示着一个更激进的方向：当分布式计算的复杂度超出人类认知负荷，AI代理将成为基础设施的”一线操作员”。而Iceberg v3的四大引擎押注，让”开放湖仓”从一个理想变为工程现实——删除向量解决了写入性能的最后一块短板，VARIANT类型打开了半结构化数据的大门。

三条主线的交汇点是一个清晰的信号：DataInfra正在从”工程师的手工活”变为”AI驱动的自动化系统”。Spark的流批一体减少了架构碎片，Iceberg的格式统一消除了厂商锁定，而AI代理正在替代人类完成从代码生成到集群调试的全链路工作。下一期，我们将继续追踪LanceDB的向量数据基建进展、火山引擎LAS数据湖的Lance格式实践，以及a16z和Gartner对数据基建趋势的最新研判。