datainfra前沿动态 · Vol.28

Apache Iceberg Rust 0.10.0发布238 PRs引入update_schema+ExpireSnapshotsAction+Custom Runtime；Databricks 7/6-7/8九项连发含Managed Iceberg Materialized Views Public Preview+REPLACE WHERE flows GA+Genie按需付费；Snowflake Cortex Sense私有预览中开启'Grounded Context for AI Agents'准确率24.1%→86.3%；Apache Spark 4.2.0 RC4投票通过'4.2.0 is the last large feature drop'进入季度发布新纪元

第二十八期聚焦DataInfra四条动态：7月6日Apache Iceberg Rust 0.10.0发布——238个PRs+40位贡献者（3月初-6月底开发周期），引入update_schema动作（编程式Schema演进：增删改列+Builder API）、ExpireSnapshotsAction（高层API尊重history.expire.表属性+清理过期统计文件）、Custom Runtime Support（Runtime trait可注入catalog解耦tokio硬依赖）、Writer Improvements（ParquetWriterBuilder::from_table_properties尊重write.parquet.表属性驱动Parquet写入配置）；7月6-8日Databricks九项release notes连发——Managed Iceberg Materialized Views Public Preview（7/7 与外部Iceberg reader兼容的物化视图）+REPLACE WHERE flows GA（7/7 Lakeflow Spark Declarative Pipelines按谓词替换行免重处理全表）+Excel file format default（7/7 .xls/.xlsx/.xlsm开箱即用）+Private Link for account-level resources Beta（7/6 控制台私有连接）+Budgets GA（7/6 含Unity AI Gateway预算按用户上限+邮件告警+使用阻断）+Standard performance mode（7/6 MV/ST在Lakeflow jobs中更少DBU消耗）+Automatic cost attribution for MV/ST（7/8 自定义tag传到billing.usage正确归因成本到源SQL warehouse）+Genie pay-as-you-go pricing（7/8 150 DBU/月免费+超出按DBU计费）；7月初Snowflake Cortex Sense私有预览开启——Grounded Context for AI Agents，准确率从24.1%提升到86.3%（3.6倍），每查询成本从$1.76降到$0.59（66%降低），运行机制：自动从语义视图/结构化+非结构化数据/业务术语/代理技能与历史交互/财务/销售角色预置插件五个层次动态组装上下文，非一次性enrichment而是runtime；6月27-29日Apache Spark 4.2.0 RC4投票（commit f92a807c06b）——Apache官方称4.2.0是季度发布新纪元前'最后的大型功能发布'（4.2.0 = the last large feature drop before the transition），4.2.0有18个月维护窗口，4.3.0将是按季度发布节奏的首个版本，4.2.0已获多票binding +1验证全部39模块BUILD SUCCESS/全部API表面（Java/Scala/SQL/PySpark/SparkR）测试通过。四条动态共同指向数据基础设施的'底层引擎标准化+企业AI成本治理+语义运行时'主线：Iceberg Rust 0.10.0在Rust原生层推进Iceberg规范成熟（Schema+Snapshot+Runtime+Writer四大基元齐备）+Databricks九项连发推进Lakehouse平台在'开放性（Managed Iceberg兼容外部reader）+成本治理（Budgets GA+MV/ST成本归因+Standard mode省DBU）+企业AI消费（Genie按需付费+Excel格式）'三位一体建设+Snowflake Cortex Sense定义'agent的context runtime'是企业AI准确率从demo到production的根因+Apache Spark 4.2.0作为'最后一个大型功能drop'标志传统'一年一个大版本'模式终结、进入季度feature release时代（4.3.0/4.4.0/4.5.0每3个月一次+每年4.0.0/5.0.0/6.0.0大版本+最后feature release为LTS维护18个月）。

DataInfra Apache Iceberg Iceberg Rust Iceberg Rust 0.10.0 iceberg-rust 238 PRs 40 contributors update_schema ExpireSnapshotsAction Custom Runtime Runtime trait Tokio decoupling ParquetWriterBuilder from_table_properties Rust Native Iceberg pyiceberg-core Databricks Managed Iceberg Materialized Views External Iceberg Readers Public Preview REPLACE WHERE flows Lakeflow Spark Declarative Pipelines GA Generally Available Excel file format xls xlsx xlsm Private Link Account-level resources Budgets Unity AI Gateway Budgets Per-user thresholds Standard performance mode MV ST refreshes Automatic cost attribution Materialized views Streaming tables system.billing.usage Genie pay-as-you-go 150 DBU free DBU billing Snowflake Cortex Sense Grounded Context AI Agents Private Preview Mid July 2026 24.1% to 86.3% $1.76 to $0.59 Semantic Views Context Runtime Apache Spark 4.2.0 RC4 Vote f92a807c06b Last large feature drop Quarterly feature releases 4.3.0 quarterly 18-month maintenance 4.2.x LTS Apache Spark versioning policy 数据基础设施 DataInfra前沿动态 Vol.28

第二十八期追踪到DataInfra领域四条重要动态：7月6日Apache Iceberg Rust 0.10.0发布——238个PRs+40位贡献者（3月初-6月底开发周期），引入update_schema动作（编程式Schema演进：增删改列+Builder API）、ExpireSnapshotsAction（高层API尊重history.expire.*表属性+清理过期统计文件）、Custom Runtime Support（Runtime trait可注入catalog解耦tokio硬依赖）、Writer Improvements（ParquetWriterBuilder::from_table_properties尊重write.parquet.*表属性驱动Parquet写入配置）；7月6-8日Databricks九项release notes连发——Managed Iceberg Materialized Views Public Preview（7/7 与外部Iceberg reader兼容的物化视图）+REPLACE WHERE flows GA（7/7 Lakeflow Spark Declarative Pipelines按谓词替换行免重处理全表）+Excel file format default（7/7 .xls/.xlsx/.xlsm开箱即用）+Private Link for account-level resources Beta（7/6 控制台私有连接）+Budgets GA（7/6 含Unity AI Gateway预算按用户上限+邮件告警+使用阻断）+Standard performance mode（7/6 MV/ST在Lakeflow jobs中更少DBU消耗）+Automatic cost attribution for MV/ST（7/8 自定义tag传到billing.usage正确归因成本到源SQL warehouse）+Genie pay-as-you-go pricing（7/8 150 DBU/月免费+超出按DBU计费）；7月初Snowflake Cortex Sense私有预览开启——Grounded Context for AI Agents，准确率从24.1%提升到86.3%（3.6倍），每查询成本从$1.76降到$0.59（66%降低），运行机制：自动从语义视图/结构化+非结构化数据/业务术语/代理技能与历史交互/财务/销售角色预置插件五个层次动态组装上下文，非一次性enrichment而是runtime；6月27-29日Apache Spark 4.2.0 RC4投票（commit f92a807c06b）——Apache官方称4.2.0是季度发布新纪元前’最后的大型功能发布’（4.2.0 = the last large feature drop before the transition），4.2.0有18个月维护窗口，4.3.0将是按季度发布节奏的首个版本，4.2.0已获多票binding +1验证全部39模块BUILD SUCCESS/全部API表面（Java/Scala/SQL/PySpark/SparkR）测试通过。四条动态共同指向数据基础设施的’底层引擎标准化+企业AI成本治理+语义运行时’主线：Iceberg Rust 0.10.0在Rust原生层推进Iceberg规范成熟（Schema+Snapshot+Runtime+Writer四大基元齐备）+Databricks九项连发推进Lakehouse平台在’开放性（Managed Iceberg兼容外部reader）+成本治理（Budgets GA+MV/ST成本归因+Standard mode省DBU）+企业AI消费（Genie按需付费+Excel格式）‘三位一体建设+Snowflake Cortex Sense定义’agent的context runtime’是企业AI准确率从demo到production的根因+Apache Spark 4.2.0作为’最后一个大型功能drop’标志传统’一年一个大版本’模式终结、进入季度feature release时代（4.3.0/4.4.0/4.5.0每3个月一次+每年4.0.0/5.0.0/6.0.0大版本+最后feature release为LTS维护18个月）。

Apache Iceberg Rust 0.10.0发布：238 PRs+40贡献者齐备Schema+Snapshot+Custom Runtime+Writer四大基元

事件概述

7月6日，Apache软件基金会发布Apache Iceberg Rust 0.10.0——由Release Manager Danny C Jones（Amazon）主导，Shawn Chang作为committer支持发布，冰山PMC博客站点发布完整Release Notes（apache-iceberg-rust-0.10.0-release，2026-07-06）。开发周期——2026年3月初至6月底，约4个月集中开发，238个PRs被合并，40位贡献者参与（数据来自RC2投票邮件链manu zhang 2026-07-02回复）。版本号v0.10.0的tag已推送到GitHub releases，changelog覆盖CHANGELOG.md。关键技术亮点——（1）Schema Evolution——新增update_schema动作，编程式表schema更新（添加、删除、重命名、更新列+Builder接口）；（2）Snapshot Expiration——新增ExpireSnapshotsAction，提供高层API自动清理过期snapshot，尊重history.expire.*表属性+自动清理过期snapshot关联的统计文件；（3）Custom Runtime Support——Runtime trait可注入catalog，解耦iceberg-rust在catalog层对tokio的硬依赖——允许在自定义async runtime的应用中嵌入使用；（4）Writer Improvements——ParquetWriterBuilder::from_table_properties现在尊重write.parquet.*表属性驱动Parquet写入配置。iceberg-rust是Apache Iceberg规范的原生Rust实现，提供高性能库用于Rust应用中读取、写入、管理Iceberg表，并通过Python bindings（pyiceberg-core）暴露给Python生态——0.10.0是Rust原生Iceberg实现走向生产就绪的关键里程碑。

技术解析

  • update_schema动作——编程式Schema演进API：0.10.0引入update_schema动作，允许通过Builder API编程式添加/删除/重命名/更新列——这是Rust原生Iceberg实现第一次提供完整的schema演进能力。背景——传统schema演进需要通过Iceberg Java/Python SDK调用REST/Hive Metastore catalog的复杂流程，0.10.0让Rust应用直接通过统一的Builder接口完成schema变更。使用模式——table.update_schema().add_column("new_col", DataType::String).commit()风格API，链式调用+最终commit。应用场景——（1）数据迁移——把数据从外部系统加载到Iceberg时，根据实际数据动态调整schema；（2）schema漂移修复——上游系统schema变更后，通过update_schema修复Iceberg表schema对齐；（3）feature store——ML特征演化时新增特征列而无需全表重写。这与Vol.22报道的Delta Lake 4.3（Row Tracking读取+模式演变生存上游变更）和Vol.27报道的Apache Paimon 1.4.2（Data Evolution行级部分列更新+_ROW_ID+新特征列增量写入）是同一方向——“schema演化的成本”是AI时代数据基础设施的关键能力。Iceberg Rust 0.10.0的update_schema是”编程式schema演进”在Rust原生层的标准化。

  • ExpireSnapshotsAction——Snapshot生命周期管理的高层API：0.10.0引入ExpireSnapshotsAction，提供高层API自动清理过期snapshot+关联的统计文件。核心能力——（1）尊重history.expire.*表属性——配置驱动的过期策略（history.expire.max-snapshot-age-ms等）；（2）自动清理过期snapshot关联的统计文件（statistics file metadata）——传统snapshot清理只删除manifest/data文件，统计文件被遗漏导致存储成本随时间累积，0.10.0解决此问题。应用场景——（1）生产Iceberg表通常配置history.expire.max-snapshot-age-ms = 604800000（7天），0.10.0自动定期调用ExpireSnapshotsAction；（2）合规归档——某些snapshot需保留作audit，0.10.0支持白名单snapshot ID保留；（3）存储成本优化——长期运行的Iceberg表积累大量过期snapshot+统计文件，0.10.0让存储成本可控。这与Vol.24报道的Databricks Lakehouse//RT Beta（Reyden异步执行引擎+流式物化视图+持续刷新）和Vol.14报道的Apache Flink Forward Asia 2026（王峰宣布物化表+Changelog SQL）是同一方向——“snapshot/statistics生命周期管理”是lakehouse长期生产的关键能力。

  • Custom Runtime Support——Runtime trait解耦tokio硬依赖：0.10.0最大的架构改进是**Runtime trait可注入catalog**——iceberg-rust不再在catalog层硬依赖tokio。背景——Rust生态存在多个async runtime：tokio、async-std、smol、embassy（嵌入式）等，0.10.0前iceberg-rust强制使用tokio——这限制了在自定义runtime环境中的嵌入使用（如embassy嵌入式系统、FaaS平台、特殊硬件环境）。0.10.0架构——Runtime trait定义async运行时抽象，catalog接受Runtime trait对象作为参数，应用根据自身runtime选择实现。应用场景——（1）嵌入式Iceberg客户端——IoT/边缘设备上的Iceberg reader，用embassy避免tokio的重量级运行时；（2）WASM环境——浏览器/WASM运行时的Iceberg reader，用wasm-bindgen-futures替代tokio；（3）FaaS平台——AWS Lambda/Azure Functions等FaaS平台，用平台runtime避免冷启动开销。这是”Rust生态开放性”在数据基础设施层的体现——与Vol.27报道的PyPaimon（纯Python无JDK依赖）和Vol.25报道的PyIceberg+Polars+PyTorch集成是同一方向——“降低数据基础设施的部署门槛”是AI时代数据栈的关键能力。

  • Writer Improvements——Parquet写入配置表属性驱动：0.10.0的ParquetWriterBuilder::from_table_properties现在尊重**write.parquet.*表属性**——让表级别的Parquet写入配置可在catalog层配置一次、所有写入路径自动应用。核心能力——（1）write.parquet.compression-codec——表级别配置Parquet压缩算法（snappy/gzip/zstd/lz4）；（2）write.parquet.row-group-size-bytes——表级别配置row group大小；（3）write.parquet.page-size-bytes——表级别配置page大小；（4）write.parquet.dict-size-bytes——表级别配置字典大小；（5）write.parquet.statistics-enabled——表级别启用/禁用统计信息写入。应用场景——（1）合规场景——某些行业要求所有表必须用zstd压缩，0.10.0通过表属性统一配置避免每个写入路径单独设置；（2）成本优化——根据表访问模式选择不同压缩率（热表用snappy快速解压缩/冷表用zstd高压缩比）；（3）A/B测试——通过修改表属性对比不同Parquet配置的性能差异。这与Vol.22报道的Delta Lake 4.3（UniForm+Row Tracking+Row Concurrency+模式演变）和Vol.24报道的AWS OpenSearch Service新日志分析引擎GA（Parquet列存+Apache Calcite SQL优化+DataFusion向量化执行+Lucene倒排索引四层架构）是同一方向——“配置驱动标准化”是企业级数据基础设施的关键能力。

行业影响

Apache Iceberg Rust 0.10.0的发布意义不是”又一个Rust实现升级”，而是”Rust原生Iceberg从’能跑’到’生产就绪‘“的里程碑——Schema+Snapshot+Custom Runtime+Writer四大基元齐备意味着iceberg-rust现在对位Java/Python SDK的核心能力。

此前Rust生态虽然有iceberg-rust项目，但在生产环境使用时常受限于：（1）schema演进——只能通过catalog层调用REST/Hive Metastore，编程式API不完善；（2）snapshot管理——缺乏高层API，过期清理需手动实现；（3）tokio硬依赖——限制了在嵌入式/WASM/FaaS环境的应用；（4）写入配置——每个写入路径需单独配置，企业级统一管理困难。0.10.0一次性解决schema、snapshot、runtime、writer四大基元的生产就绪问题。

将本期与Vol.27报道的Apache Paimon 1.4.2（BLOB类型+Lumina向量索引+Data Evolution+PyPaimon Python SDK）对比，Paimon 1.4.2是”AI多模态数据湖”的完整形态（BLOB+VECTOR+Lumina+PyPaimon），Iceberg Rust 0.10.0是”Rust原生lake format”的成熟（update_schema+ExpireSnapshotsAction+Custom Runtime+Writer Improvements）。两者是”不同技术路径的同步演进”——Paimon在”功能完整性”方向演进（BLOB+Vector+Multimodal），Iceberg Rust在”工程化生产就绪”方向演进（Schema+Snapshot+Runtime+Writer）。两条路径不互斥——企业可以用Paimon作为多模态数据湖 + 用Iceberg作为结构化数据湖（或直接用Iceberg作为多模态数据湖通过Python/Java SDK）。

将本期与Vol.22报道的Delta Lake 4.3（Delta REST Catalog统一API+UniForm原子+增量转换+IcebergCompatV3实验性支持删除向量与UniForm共存+流式CDF支持CDC流式处理+Row Tracking读取+模式演变生存上游变更+Delta Kernel成为Spark/DuckDB/Flink共享表统一内核）对比，Delta Lake 4.3在”开放表格式互操作”（Delta REST Catalog+UniForm+Delta Kernel）方向演进，Iceberg Rust 0.10.0在”Rust原生引擎成熟”（Schema+Snapshot+Runtime+Writer）方向演进。两者是”lake format演进的两条路径”——Delta Lake走”跨语言跨引擎共享内核”路径（一个Delta表能被任何语言任何引擎读取），Iceberg Rust走”Rust生态原生”路径（一个Iceberg表能在Rust应用/嵌入式/WASM/FaaS中无缝使用）。两条路径都会成功——Delta Lake面向Spark/Databricks生态用户，Iceberg Rust面向Rust/嵌入式/FaaS生态用户。

将本期与Vol.14报道的Apache Flink 2.3.0（15项FLIP/FLIP-555 Native S3/FLIP-564 Changelog SQL算子/FLIP-550/557物化表DDL/FLIP-339自适应分区）对比，Flink 2.3.0在流处理引擎层推进流批一体+物化表+Changelog SQL，Iceberg Rust 0.10.0在表格式引擎层推进Rust原生+Schema+Snapshot+Custom Runtime+Writer。两者是”流处理+湖格式”双轨并进——Flink是Iceberg的官方推荐流处理引擎之一（Flink 2.3.0支持Iceberg connector），Iceberg Rust 0.10.0是Flink在Rust生态的湖格式补全（未来可能出现Flink Rust API+Iceberg Rust的组合）。

相关链接

Databricks 7/6-7/8九项release notes连发：Managed Iceberg Materialized Views Public Preview+REPLACE WHERE flows GA+Budgets GA+Genie按需付费

事件概述

7月6-8日，Databricks 7月release notes密集发布9项重大更新——覆盖数据格式层、Lakeflow管道层、企业安全层、成本治理层、AI消费层五大维度（Databricks AWS Release Notes July 2026）。核心发布：（1）Managed Iceberg Materialized Views Public Preview（7/7）——创建与外部Iceberg reader兼容的物化视图（无需联系Databricks账户团队即可试用但仍需联系）；（2）REPLACE WHERE flows GA（7/7）——REPLACE WHERE流用于管道和独立streaming table按谓词替换行无需重处理全表；（3）Excel file format default（7/7）——所有workspace默认支持.xls/.xlsx/.xlsm文件摄取、解析、查询（无需外部库或手动转换）；（4）Private Link for account-level resources Beta（7/6）——通过VPC接口端点私有连接account console等账户级资源；（5）Budgets GA（7/6）——包括Unity AI Gateway预算（每用户上限+邮件告警+使用阻断）；（6）Standard performance mode for MV/ST refreshes in jobs（7/6）——MV/ST在Lakeflow jobs中按job的Performance optimized设置决定Standard mode（更少DBU消耗）；（7）Automatic cost attribution for MV/ST in Databricks SQL（7/8）——MV/ST刷新继承SQL warehouse的自定义tag并传播到system.billing.usage（正确归因成本到源SQL warehouse）；（8）Genie products now use pay-as-you-go pricing（7/8）——Genie Spaces/Code/One改用按需付费（每月150 DBU免费LLM使用，约$10.50 US East）。九项更新共同指向Databricks Lakehouse平台在’开放性+成本治理+企业AI消费’三位一体的密集建设。

技术解析

  • Managed Iceberg Materialized Views Public Preview——与外部Iceberg reader兼容的物化视图：7/7 Public Preview发布的Managed Iceberg Materialized Views允许创建与外部Iceberg reader兼容的物化视图。核心创新——传统Databricks Managed Tables由Delta Lake协议管理，外部Iceberg reader（如Apache Iceberg、PyIceberg、Trino+Iceberg connector）无法直接读取；Managed Iceberg Materialized Views支持Materialized View语义（预计算+自动刷新）+Iceberg协议兼容（外部reader可直接读取）。应用场景——（1）多引擎Lakehouse——Databricks用作Materialized View计算层（创建+刷新），Trino/Presto+Iceberg用作查询层（用户查询时不经过Databricks SQL warehouse）——避免Databricks平台锁定；（2）跨云数据共享——通过Iceberg REST Catalog + Unity Catalog，把Materialized View分享给AWS S3 Tables、Azure OneLake、Google Cloud BigLake等其他云Lakehouse；（3）开源生态集成——Dremio、Starburst、Apache Doris、DuckDB-Iceberg等开源引擎可直接读取Databricks管理的Iceberg MV。这与Vol.22报道的Delta Lake 4.3（IcebergCompatV3实验性支持删除向量与UniForm共存）和Vol.13报道的Delta UniForm+IcebergCompatV7+CompatV8是同一方向——“Lakehouse协议开放性”是企业数据基础设施的关键能力。Databricks此次从”Delta Lake only”演化为”Delta Lake + Managed Iceberg MV”双轨，是Databricks应对客户’避免平台锁定’需求的关键一步。

  • REPLACE WHERE flows GA——按谓词替换行免重处理全表：7/7 GA发布的REPLACE WHERE流为Lakeflow Spark Declarative Pipelines（Pipelines）和独立streaming table提供REPLACE WHERE语义。核心创新——传统MERGE INTO操作在每次刷新时扫描+合并全表，对于大表+少量更新场景效率极低；REPLACE WHERE流让每次刷新只替换谓词匹配的行+保留其他行不变+无需重处理全表历史。应用场景——（1）SCD Type 2——缓慢变化维度只更新变更行+保留历史；（2）GDPR数据删除——按用户ID谓词删除指定行+保留其他行+审计追溯；（3）CDC合并——只合并变更的行+保持原streaming table的轻量。这与Vol.18报道的IcebergGo 0.6.0（Go native Go client）和Vol.24报道的Databricks Lakehouse//RT Beta（Reyden异步执行引擎+非阻塞执行+亚秒级延迟+流式物化视图+分钟级ETL毫秒级查询）是同一方向——“增量替换+减少全表处理”是Lakehouse管道效率的关键能力。REPLACE WHERE流GA是Lakeflow Spark Declarative Pipelines生产就绪的关键里程碑。

  • Excel file format default——开箱即用的Excel文件支持：7/7起所有workspace默认支持Excel文件——摄取、解析、查询.xls/.xlsx/.xlsm直接使用内置支持，无需外部库或手动转换。核心能力——（1）Lakeflow Connect支持Excel文件源；（2）Auto Loader自动识别Excel schema；（3）Databricks SQL直接查询Excel文件作为外部表；（4）read_files支持Excel suffix过滤。应用场景——（1）业务用户上传Excel——财务/销售/HR等业务人员习惯用Excel管理数据，Excel文件格式default让业务用户无需IT协助即可把数据上载到Lakehouse；（2）第三方数据——供应商/客户常提供Excel格式数据，开箱即用摄取省去开发ETL；（3）Excel模板化——某些行业的合规报告必须用Excel（如美国SEC的XBRL Excel、欧盟CRR3的Excel模板）。这与Vol.7报道的Databricks AI Search（Vector Search更名）和Vol.26报道的Databricks Genie App Builder三件套私有预览开放是同一方向——“企业实际工作流格式原生支持”是企业Lakehouse的关键能力。Excel file format default把Databricks Lakehouse从”开发者工具”演化为”全员数据工具”。

  • Budgets GA+Standard performance mode+Automatic cost attribution——三位一体成本治理：7/6-7/8 Databricks密集发布三大成本治理更新：（1）Budgets GA（7/6）——包括Unity AI Gateway预算（每用户上限+邮件告警+使用阻断），admins定义支出阈值，Unity AI Gateway管理请求支持per-user thresholds+overrides+可配置动作（邮件告警/使用阻断）；（2）Standard performance mode for MV/ST refreshes in jobs（7/6）——MV/ST在Lakeflow jobs中按job的Performance optimized设置决定Standard mode，关闭时使用standard performance mode（更少DBU消耗）；（3）Automatic cost attribution for MV/ST in Databricks SQL（7/8）——MV/ST刷新继承SQL warehouse的自定义tag并传播到system.billing.usage，正确归因成本到源SQL warehouse。三位一体——Budgets定义成本上限（事前控制） + Standard performance mode降低单次成本（事中优化） + Automatic cost attribution追溯成本来源（事后分析）。应用场景——（1）Genie成本治理——7/8 Genie改用按需付费，Budgets GA让admins控制Genie支出（per-user limits+email alerts+usage blocking）；（2）MV/ST成本优化——关闭job的Performance optimized可显著降低DBU消耗，Automatic cost attribution让企业知道每个SQL warehouse的成本贡献；（3）合规审计——Budgets提供auditable evidence（谁触发了budget alert？谁被blocked？）。这与Vol.18报道的AWS DevOps Agent + Spark Troubleshooting Agent（AI代理诊断运维）和Vol.24报道的AWS Redshift AI Performance Advisor Reference Architecture（Bedrock Claude Sonnet 4.6+Lambda+EventBridge每日分析STL+系统表+查询日志/历史对比识别基线偏差/自然语言性能诊断）是同一方向——“AI时代数据基础设施的成本治理”是企业AI大规模落地的关键能力。

  • Genie pay-as-you-go pricing——Genie从订阅制到按需付费：7/8起Genie Spaces/Code/One改用按需付费——每月150 DBU免费LLM使用（约$10.50 US East），超出部分按DBU计费（反映底层LLM模型和agent的实际消耗）。核心变化——之前Genie通常捆绑在Databricks订阅中（企业按seat付费），现在改用按DBU计费（与Databricks其他工作负载统一计费模型）。应用场景——（1）中小企业的Genie采用——150 DBU/月免费让中小企业零成本试用Genie，超出部分按需付费避免大额订阅；（2）Genie成本透明——DBU计费让企业清楚知道每次Genie调用的实际成本（不同模型的DBU费率不同）；（3）预算管理——Budgets GA + Genie pay-as-you-go组合让admins设置Genie预算+实时监控+超限阻断。这与Vol.25报道的Unity AI Gateway Agent Registry（把AI代理纳入Unity Catalog目录治理）和Vol.26报道的Genie App Builder三件套私有预览开放是同一方向——“企业AI代理从概念验证到生产部署”的关键是成本可预测+使用可治理。Genie pay-as-you-go + Budgets GA组合让Databricks AI代理从’企业订阅的附属功能’演化为’独立计费的产品线’。

  • Private Link for account-level resources Beta——账户级资源私有连接：7/6 Beta发布的Private Link for account-level resources允许通过VPC interface endpoint私有连接Databricks account-level resources（如account console）而非公网。核心能力——（1）Account Console私有访问——admins通过VPC endpoint访问Account Console而不经过公网；（2）多账户统一私有网络——Enterprise customers通过单一VPC endpoint管理多个Databricks accounts；（3）合规支持——金融/医疗/政府等行业禁止账户级资源经过公网，Private Link Beta满足合规要求。应用场景——（1）合规要求——金融/医疗/政府禁止account console经过公网（PCI-DSS/HIPAA/FedRAMP），Private Link Beta让这些行业满足合规要求；（2）多账户管理——大型企业有多个Databricks accounts（按部门/业务单元），统一VPC endpoint简化网络管理；（3）审计要求——所有account console访问经过VPC endpoint让SIEM系统完整记录审计日志。这与Vol.13报道的AWS PrivateLink+Delta Sharing+Databricks Clean Rooms（金融数据共享）和Vol.22报道的Databricks Clean Rooms 2.0 GA是同一方向——“Lakehouse平台企业级安全”是企业数据基础设施的关键能力。

行业影响

Databricks 7/6-7/8九项release notes连发的发布意义不是”九项独立更新”，而是”Lakehouse平台三位一体建设”——开放性（Managed Iceberg MV Public Preview）+成本治理（Budgets GA+Standard mode+Automatic cost attribution）+企业AI消费（Genie按需付费+Excel格式default）+企业安全（Private Link Beta for account-level resources）。

此前Databricks Lakehouse平台的痛点是：（1）协议锁定——Delta Lake only，外部Iceberg reader无法读取；（2）成本不透明——MV/ST在jobs中默认Performance optimized，DBU消耗高+无法追溯到源SQL warehouse；（3）AI成本难治理——Genie作为订阅的附属功能，admins无法设置预算+per-user limits；（4）业务用户门槛——业务用户习惯Excel，Lakehouse对Excel支持不完善；（5）企业安全合规——Account Console经过公网，金融/医疗/政府合规风险。九项更新一次性解决协议、成本、AI、用户、安全五大维度的痛点。

将本期与Vol.25报道的Unity AI Gateway Agent Registry（把AI代理纳入Unity Catalog目录治理）和Vol.26报道的Genie App Builder三件套私有预览开放对比，本期Genie pay-as-you-go + Budgets GA组合把’AI代理从订阅制演化为按需计费’——这是Databricks AI产品商业化的关键一步。当Genie按DBU计费+Budgets per-user limits+Unity AI Gateway成本归因时，企业AI代理的TCO（Total Cost of Ownership）第一次可预测+可治理。

将本期与Vol.22报道的Delta Lake 4.3（Delta REST Catalog+UniForm+Delta Kernel）对比，Managed Iceberg Materialized Views Public Preview是Databricks对’开放表格式’的实质性回应——Databricks从此支持Delta Lake（专有协议）+Iceberg（开放协议）双轨。两条路径不互斥——企业可以用Delta Lake for high-performance internal workloads + 用Managed Iceberg MV for cross-engine/cross-cloud sharing。这与Vol.27报道的Apache Paimon 1.4.2（Unified Lake Format三大支柱+多模态数据湖）是同一方向——“Lakehouse协议开放性”是2026年下半年的关键趋势。

相关链接

Snowflake Cortex Sense私有预览开启：Grounded Context for AI Agents让准确率从24.1%到86.3%+成本从$1.76到$0.59

事件概述

7月初（私有预览定于2026年7月中旬开启），Snowflake Summit 2026（6月1-4日Moscone Center）宣布的Snowflake Cortex Sense正式进入Private Preview（Introducing Cortex Sense: Grounded Context for the Data You Never Modeled）。核心创新——Cortex Sense是**“agent的context runtime”，自动从5个层次动态组装AI代理所需的数据/业务定义/操作知识，不是一次性enrichment而是runtime**。5个上下文层次：（1）语义视图（Semantic views）——Snowflake Horizon Catalog中的governed业务定义（指标定义/维度关系/治理词汇表）；（2）结构化+非结构化数据——不只数据仓库表，还包括文档/wiki/runbooks/产品说明等——任何包含企业业务知识的资产；（3）业务术语+元数据——ownership元数据/data lineage/quality signals/描述——数据周围的操作上下文而不仅是数据本身；（4）代理技能与历史交互——Cortex Sense从agent之前的操作中学习——如果agent之前回答过类似问题，这些模式会告知新查询的上下文组装；（5）角色预置插件——Cortex Sense内置财务/销售角色特定插件——每个插件打包该功能相关的技能/业务规则/MCP连接器。核心数据——准确率从24.1%提升到86.3%（3.6倍），每查询成本从$1.76降到$0.59（66%降低）。Cortex Sense的发布意义不是”又一个语义层”，而是”agent的context runtime”——让企业AI从demo走到production的关键基础设施。

技术解析

  • 准确率24.1%→86.3%（3.6倍）的根因：从”猜”到”知道”：Snowflake官方benchmark测试结果（Snowflake官方博客）显示：在一个hard questions测试集上，frontier coding agent with direct access to SQL execution via MCP vs vanilla CoCo（with semantic view retrieval） vs CoCo grounded by Cortex Sense——Cortex Sense将准确率从24.1%提升到86.3%。3.6倍提升的根因：（1）避免frontier agent的”DESCRIBE TABLE on dozens of objects”——frontier agent倾向逐一描述表浪费token+增加延迟，Cortex Sense自动提供准确上下文；（2）业务定义冲突解决——当不同团队对”daily active users”有不同定义时，Cortex Sense会询问——自然语言解释哪个指标对应哪个团队+更新模型；（3）信号冲突时排序——类比web search的PageRank——Cortex Sense根据relevance/authority/popularity/freshness排序信号——被governed semantic view支撑的指标定义比从零散查询推断的指标定义authority更高——500个生产SQL出现的join pattern比3次出现的join pattern weight更高——上个月更新的定义比两年前的定义supersede。这与Vol.7报道的Databricks AI Search（Vector Search更名+全文搜索BM25+混合搜索向量+全文+重排序）和Vol.22报道的Databricks Genie Ontology（活图谱+实体关系动态维护）是同一方向——“业务定义治理”是AI时代数据基础设施的关键能力。

  • 成本1.76→1.76→0.59（66%降低）：从”暴力搜索”到”精确上下文”：Cortex Sense让每查询成本从$1.76降到$0.59（66%降低）——核心机制——停止agent手动inspect every table。frontier agent的浪费模式——（1）DESCRIBE TABLE on dozens of objects——浪费token+增加延迟；（2）反复查询metadata——每次查询都重新发现schema/relationships；（3）错误schema joins——生成大量无效SQL+重试。Cortex Sense优化——（1）预先索引metadata+query patterns+business definitions——一次索引+持续刷新；（2）查询时精确组装上下文——只提供与查询相关的schema/definitions；（3）避免错误schema joins——Cortex Sense预先知道正确join patterns。关键洞察——索引的一次性成本（depends on how much data is indexed）会随时间被持续降低的per-query成本抵消——持续运行时间越长，TCO越低。这与Vol.10报道的阿里云AgentTeams（基于Matrix协议异构智能体统一治理）和Vol.18报道的AWS DevOps Agent + Spark Troubleshooting Agent（AI代理诊断运维）是同一方向——“AI代理的成本效率”是AI大规模落地的关键。

  • 运行时（Runtime）而非一次性Enrichment：5层上下文动态组装：Cortex Sense的架构创新是**“非一次性enrichment而是runtime”——每次agent执行任务时，Cortex Sense动态组装与当前任务最相关的上下文**。5层动态组装：（1）Semantic views——查询相关governed业务定义；（2）Structured+unstructured data——查询相关数据资产；（3）Business glossary+metadata——查询相关业务术语/ownership/lineage；（4）Agent skills+past interactions——查询相关历史agent执行模式；（5）Role prebuilt plugins——查询相关财务/销售role-specific skills/MCP connectors。vs传统语义层——传统语义视图是static metadata+manual curation——需要data engineers手动定义+维护——新指标上线周期数月。Cortex Sense vs 传统语义层——（1）无需手动定义——Cortex Sense自动从数据中学习；（2）持续刷新——continuous refresh cadence——业务定义变更时Cortex Sense自动pick up；（3）correction workflow是conversational——通过自然语言告诉Cortex Sense哪个定义正确+它更新模型。关键洞察——“semantic views stay the gold standard where you need governed, consistent answers, but they shouldn’t be the only way an AI learns your business”——Cortex Sense让企业AI从”必须手动定义语义层”演化为”AI自动学习+必要时conversational correction”。

  • 角色预置插件（Prebuilt plugins for business roles）：财务+销售开箱即用：Cortex Sense内置财务/销售角色特定插件——每个插件打包该功能相关的skills/business rules/MCP connectors。财务插件——（1）ACV定义——Q3 ACV是否上升——Cortex Sense理解ACV定义必须排除free-tier activity；（2）财务报告——GAAP/IFRS规则预置；（3）预算vs实际——预算分配逻辑预置。销售插件——（1）CRM定义——pipeline stage含义+revenue attribution rules预置；（2）销售预测——forecast methodology预置；（3）QBR准备——standard QBR queries预置。应用场景——（1）sales agent——built on Cortex Sense——继承CRM definitions/pipeline stage meanings/revenue attribution rules out of the box——无需data engineer手动配置；（2）finance agent——built on Cortex Sense——继承GAAP/IFRS rules/budget allocation logic——财务团队零配置即可用。这与Vol.18报道的AWS DevOps Agent（自然语言生成SQL诊断）和Vol.25报道的Unity AI Gateway Agent Registry（Agent Cards标准化元数据+权限+依赖声明+集中目录发现+审批+生命周期+审计）是同一方向——“企业AI代理从’通用工具’演化为’领域专家‘“的关键是领域知识预置+治理+审计。

  • Governance与Access Control：metadata only+role-scoped：Cortex Sense的关键治理特性——只ingest metadata and usage patterns，不ingest actual data rows。vs典型AI系统——典型AI系统需ingest full data rows做embeddings/retrieval，增加data leakage风险。Cortex Sense优化——只ingest metadata+usage patterns——降低data exposure。Access Control——通过Snowflake现有governance（role-based access control）——private preview阶段允许指定一个single role access all of Cortex Sense——未来扩展到per-role contexts（marketing team和finance team获取different contexts）。应用场景——（1）敏感数据保护——PII/PCI/PHI等敏感数据——Cortex Sense只ingest metadata——data rows保留在原位；（2）合规审计——所有Cortex Sense access经过Snowflake RBAC——完整审计日志；（3）跨部门隔离——per-role contexts让marketing team和finance team获取different contexts——避免信息跨部门泄漏。这与Vol.25报道的Unity AI Gateway Agent Registry（Agent Cards标准化元数据+权限+依赖声明+集中目录发现+审批+生命周期+审计）和Vol.14报道的Snowflake Cortex AISQL（AI_FILTER/AI_JOIN/AI_AGG/AI_CLASSIFY SQL函数+governed access）是同一方向——“AI时代数据治理”是企业AI大规模落地的关键。

行业影响

Snowflake Cortex Sense的发布意义不是”又一个语义层产品”，而是”AI时代数据基础设施的’context runtime’“——让企业AI准确率从24.1%到86.3%、成本从$1.76到$0.59的根因是’context质量’。

此前企业AI落地的根本性瓶颈是业务定义冲突+上下文缺失——（1）Q3 ACV是否上升——通用agent会”在general sense上”正确回答，但业务定义要求排除free-tier activity——没有encoded definition agent无法访问——答案是confidently wrong——这种”被自信地呈现为正确的错误”杀死企业AI信任；（2）metadata retrieval的暴力搜索——frontier agent DESCRIBE TABLE on dozens of objects——浪费token+增加延迟——TCO无法预测。Cortex Sense的context runtime是’从demo到production’的关键基础设施。

将本期与Vol.18报道的AWS DevOps Agent + Spark Troubleshooting Agent（自然语言生成SQL诊断+查询优化）和Vol.22报道的Databricks Genie Ontology（活图谱+实体关系动态维护+业务术语governed定义）对比，Cortex Sense是”agent context runtime”的标准化产品——Databricks Genie Ontology是”业务实体图谱”+Snowflake Cortex Sense是”agent context runtime”——两家云厂商在”AI时代语义层”的不同实现路径。关键差异——（1）Databricks Genie Ontology——基于Unity Catalog+业务实体图谱+手动curation为主；（2）Snowflake Cortex Sense——基于Horizon Catalog+自动学习+conversational correction。两条路径都会成功——Databricks面向’重治理重实体’场景（如金融/制造业），Snowflake面向’重业务灵活性’场景（如零售/互联网）。

将本期与Vol.10报道的阿里云AgentTeams（基于Matrix协议异构智能体统一治理）和Vol.18报道的AWS DevOps Agent对比，Cortex Sense是”agent的context层”+AgentTeams/DevOps Agent是”agent的协调层”——Cortex Sense解决”agent问什么”（业务定义+metadata+patterns），AgentTeams/DevOps Agent解决”agent怎么协作”（Matrix协议+多agent orchestration）。两者是agent基础设施的”双层”——Cortex Sense是”思考层”+AgentTeams是”协作层”。当Cortex Sense+CoCo+CoWork组合时，Snowflake的”agentic stack”完整——CoCo = agent builder（开发者工具）+ CoWork = agent surface（知识工作者界面）+ Cortex Sense = context runtime（agent的”知识库”）。这是Snowflake对”agentic enterprise”的完整产品化。

相关链接

Apache Spark 4.2.0 RC4投票通过：‘Last Large Feature Drop’标志传统’一年一个大版本’模式终结进入季度发布新纪元

事件概述

6月27-29日，Apache Spark 4.2.0 RC4投票在dev@spark.apache.org邮件列表进行——Release Manager Huaxin Gao发起（2026-06-27 00:21:32 PDT），投票截至Mon, 29 Jun 2026 18:21:31 PDT（VOTE: Release Spark 4.2.0 (RC4)）。核心候选——v4.2.0-rc4（commit f92a807c06b），binding +1 votes已多票（Renjie Liu 2026-07-02 binding +1验证、Uroš Bojanić 2026-06-29 binding +1验证、Manu Zhang 2026-06-29 non-binding +1验证等）。关键验证结果：（1）GPG签名+SHA512——所有artifact（source+三个binary+PySpark/SparkR tarballs）签名与KEYS匹配；（2）Source build——全部39模块BUILD SUCCESS（-Phive -Phive-thriftserver）；（3）Binary distribution——SparkPi+spark-shell Scala job测试结果正确；（4）PySpark——pip install pyspark-4.2.0.tar.gz+DataFrame+Spark SQL+Python UDF in local mode结果正确。关键里程碑——Apache Spark 4.2.0是”季度发布新纪元前’最后的大型功能发布’“（Apache Spark Versioning Policy）。Apache官方原文——“Ship Apache Spark 4.2.0 on the timeline above (the last large feature drop before the transition)“——4.2.0之后，Spark 4.3.0将是按季度feature release节奏的首个版本（for example, roughly three months after the 4.2.0 GA date for the start of the 4.3 merge/RC cycle）。4.2.0作为’the last large feature drop’——标志传统’一年一个大版本’模式终结+进入季度发布时代（4.3.0/4.4.0/4.5.0每3个月一次+每年4.0.0/5.0.0/6.0.0大版本+最后feature release为LTS维护18个月）。

技术解析

  • RC4多票binding +1验证：39模块BUILD SUCCESS+全部API表面测试通过：RC4投票收到多票binding +1（含Renjie Liu 2026-07-02、Uroš Bojanić 2026-06-29）以及多票non-binding +1（Manu Zhang 2026-06-29等）。关键验证：（1）GPG签名——所有artifact（source+三个binary+PySpark/PySpark client/PySpark Connect tarballs+SparkR）good GPG signature from the RM key（709226B910E0F10917123B6259B586ADA5A538D1）；（2）SHA512校验——所有artifact SHA512 matches；（3）Tag/commit——v4.2.0-rc4 resolves to f92a807c06b；（4）Source build——./build/mvn on JDK 17（BUILD SUCCESS）+cargo build —all-targets —all-features —workspace succeeded（Rust components）；（5）Binary distribution——RELEASE/LICENSE/NOTICE/licenses all present+dev/check-license RAT passes；（6）API surface smoke tests——Java/Scala/SQL+PySpark job from the bundled distro all look good；（7）Docs——Diffed the docs against 4.1.0 and analyzed the changes——new pages/migration guides/version refs all look good。4.2.0已通过RC4的全面验证——RC4之后的GA（General Availability）发布只是时间问题——预计7月中旬GA。

  • “Last Large Feature Drop”——传统’一年一个大版本’模式终结：Apache官方Versioning Policy明确指出——“Ship Apache Spark 4.2.0 on the timeline above (the last large feature drop before the transition)“。这是Apache Spark 10年发展史上的根本性模式转变——之前Spark 1.x/2.x/3.x都是按年大版本发布+每个大版本包含18个月功能积累；4.2.0之后——每3个月一个feature release（4.3.0/4.4.0/4.5.0）+每12个月一个major release（5.0.0/6.0.0）+每个major line最后一个feature release为LTS（如5.x LTS为5.3.0维护18个月）。新模式的核心优势：（1）更快的feature iteration——新feature 3个月可发布（vs之前12个月）；（2）更稳定的API——major release（5.0.0）集中做破坏性变更，feature release（4.3.0/4.4.0）保持向后兼容；（3）更可预测的发布节奏——每3个月一次feature release让企业清楚知道何时有新功能可用。这与Vol.22报道的Delta Lake 4.3（Delta REST Catalog统一API+UniForm+Row Tracking+模式演变）和Vol.18报道的IcebergGo 0.6.0（Go native client）是同一方向——“lake format生态加速迭代”是2026年下半年的关键趋势。

  • 4.2.0 18个月维护窗口+LTS承诺：Apache官方Versioning Policy明确——“4.2.x is not affected by this policy (development began before the SPIP); existing commitments, including the 18-month maintenance window for 4.2.x, are unchanged”。关键承诺——（1）4.2.0 GA后——4.2.1/4.2.2/4.2.3等维护版本持续发布18个月；（2）4.2.x的feature set冻结——4.2.0 GA后4.2.x仅接受bug fix+security patch（无新feature）；（3）4.3.0不backport——4.3.0/4.4.0的新feature不会backport到4.2.x——企业需主动升级到4.3.0获取新feature。应用场景——（1）保守企业——可选择留在4.2.x获取18个月稳定支持——避免频繁升级风险；（2）激进企业——可选择快速升级到4.3.0/4.4.0——3个月一次新feature——加快AI/数据栈创新；（3）混合策略——核心生产用4.2.x（稳定）+新功能实验用4.3.0+（前沿）——渐进式迁移。这与Vol.14报道的Apache Flink Forward Asia 2026（王峰keynote宣布Flink 3.0/Paimon 2.0/Fluss 1.0愿景）和Vol.23报道的Apache Flink 2.3.0（15项FLIP+Native S3+物化表DDL+Changelog SQL算子+自适应分区）是同一方向——“Apache大数据生态加速演进”是2026年下半年的关键趋势。

  • Java/Scala/SQL/PySpark/SparkR 5种API表面全验证：RC4的关键验证维度——Java API/Scala API/SQL API/PySpark API/SparkR API 5种API表面全部测试通过。关键验证点：（1）Java API——SparkPi+Java程序测试；（2）Scala API——spark-shell+Scala job测试（range aggregation+Spark SQL）；（3）SQL API——Spark SQL标准查询+UDF；（4）PySpark API——pip install pyspark-4.2.0.tar.gz+DataFrame+Spark SQL+Python UDF in local mode；（5）SparkR API——SparkR程序+DataFrame。全API表面验证意味着4.2.0对所有Spark用户——Scala开发者+Python开发者+R开发者+SQL用户+Java开发者——都已生产就绪。这与Vol.22报道的Databricks Runtime 19 (Beta)（Spark 4.2.0+JDK 21+DSv2 transaction management+is_valid_variant+INSERT INTO REPLACE ON/USING+KLL quantile functions+Metric Views in V2 catalogs+ChangelogTableSQL batch CDC+withSchemaEvolution() DataFrame API）和Vol.27报道的Apache Paimon 1.4.2（Flink 2.2支持移除Flink 1.15+Spark 4.0.2支持Scala 2.13+V2 Write DELETE/UPDATE/MERGE INTO均支持Append表）是同一方向——“Spark生态的全面升级”是2026年下半年的关键里程碑。

行业影响

Apache Spark 4.2.0 RC4投票通过的发布意义不是”又一个Spark版本”，而是”Apache Spark 10年发展史上的根本性模式转变”——从’一年一个大版本’演化为’季度feature release+年度major release+每major line末LTS’。

此前Apache Spark 10年发布模式的痛点是（1）feature iteration慢——新feature 12个月可发布——企业等待时间长；（2）API breaking change集中在大版本——major release包含所有破坏性变更——升级风险高；（3）feature积累不规律——某些major release功能多+某些少——企业无法预测。4.2.0之后的季度发布新模式——每3个月一次feature release（稳定节奏）+每12个月一次major release（集中破坏性变更）+每个major line末LTS（18个月维护）——彻底解决’等待+风险+不可预测’三大痛点。

将本期与Vol.23报道的Apache Flink 2.3.0（15项FLIP/FLIP-555 Native S3/FLIP-564 Changelog SQL算子/FLIP-550/557物化表DDL/FLIP-339自适应分区/Flink Agents 0.3.0）对比，Flink 2.3.0已经按季度发布（Flink社区2年前转向季度发布节奏），Spark 4.2.0是Spark向Flink看齐的标志性发布——Spark从’年度大版本’演化为’季度feature release’与Flink对齐——Apache大数据生态统一进入’季度发布时代’。

将本期与Vol.22报道的Delta Lake 4.3（Delta REST Catalog统一API+UniForm+Row Tracking+模式演变+Delta Kernel共享表统一内核）对比，Delta Lake已经按季度发布（Delta Lake 4.0/4.1/4.2/4.3每3个月一次），Spark 4.2.0是Spark向Delta Lake看齐的标志性发布——Spark从’年度大版本’演化为’季度feature release’与Delta Lake对齐——Spark+Delta Lake统一进入’季度发布时代’。当Spark 4.2.0+Delta Lake 4.3+Paimon 1.4+Iceberg 1.x+Flink 2.3+都按季度发布时，Apache大数据生态进入’持续快速迭代’新时代——企业可以’每3个月升级一次+渐进式采用新feature’——AI时代数据栈迭代速度的质变。

相关链接

2026-07-08 datainfra前沿动态 Vol.28 —— 本期围绕”底层引擎标准化+企业AI成本治理+语义运行时”三大主线：Apache Iceberg Rust 0.10.0发布238 PRs+40贡献者齐备Schema+Snapshot+Custom Runtime+Writer四大基元；Databricks 7/6-7/8九项连发含Managed Iceberg Materialized Views Public Preview+REPLACE WHERE flows GA+Budgets GA+Genie按需付费；Snowflake Cortex Sense私有预览中开启Grounded Context for AI Agents让准确率24.1%→86.3%+成本1.76→1.76→0.59；Apache Spark 4.2.0 RC4投票通过’4.2.0 is the last large feature drop’进入季度发布新纪元。下期继续追踪DataInfra领域最新动态。