datainfra前沿动态 · Vol.30

MaxCompute Agentic 五件套；StarRocks 三路融合检索；AWS Glue Spark Connect

本期聚焦数据基础设施三大趋势：MaxCompute 从数据仓库升级为数据智能平台，StarRocks 让 OLAP 引擎原生融合全文搜索与向量检索，AWS Glue 通过 Spark Connect 将 IDE 变为 Serverless ETL 的统一开发入口。

2026年7月10日 DataInfra MaxCompute StarRocks AWS Glue Agentic Data Warehouse Lakehouse Multimodal Retrieval Spark Connect Hybrid Search Alibaba Cloud Serverless ETL

本期聚焦数据基础设施的”Agent 原生 + 多模态融合 + IDE 直连”三大趋势：MaxCompute 从数据仓库升级为数据智能平台，发布五件套 Agentic 工具链；StarRocks 让 OLAP 引擎原生融合全文搜索与向量检索，实现一条 SQL 搞定三路召回；AWS Glue 通过 Spark Connect 将 VS Code/PyCharm 等 IDE 变为 Serverless ETL 的统一开发入口。

MaxCompute Agentic 五件套发布：数据仓库进入 Agent 原生时代

事件概述

2026 年 7 月 9 日，阿里云 MaxCompute 正式发布 Agentic 工具套件，涵盖从桌面交互到 AI 自动化的完整链路，包含五个核心组件：AI Data Exploration Client（桌面工作台）、MCP Server（AI Agent 数据服务接入层）、MaxCompute Skills（语义技能包）、CatalogAPI SDK（RESTful 数据目录接口）和 MaxCompute CLI（命令行工具）。这是 MaxCompute 从”数据仓库”向”数据智能平台”架构升级的关键里程碑。

技术解析

AI Data Exploration Client：集成 SQL IDE（语法高亮、智能补全、查询历史）+ 12 种图表类型 + 数据透视表 + AI 对话/Agent 双模式 n在自然语言分析 + CSV/Excel/Parquet 导入导出 + WebDAV 挂载。macOS（Apple Silicon）和 Windows 双平台支持，v1.2.9 已支持 Blob 文件批量下载至指定目录。用户的标志性体验从”打开 SQL IDE 写查询”变为”对电脑说一句话，几秒后趋势图出现”。
MCP Server（MCMCP）：基于 Model Context Protocol 的标准化 Agent 接入层。AI Agent 可浏览数据目录、搜索元数据、执行只读 SQL 查询——服务端强制只读保护，数据安全有基线。已集成 OpenClaw、DataWorks Agent、Qwen Code、QoderWork、MaxAgent 等主流 Agent 客户端，支持 AK/SK、STS、Credentials URI、ECS RAM Role 多种认证方式。
MaxCompute Skills + CatalogAPI SDK + CLI：Skills 语义技能包为 Agent 配备”MaxCompute 专业工程师证书”，当前 Information Schema 语义包覆盖存储压力诊断、成本分析、任务失败分析、权限审计、热表观察等系统级运维场景；CatalogAPI SDK 提供 Java/Python 双语言 RESTful 接口，覆盖表 CRUD、外部数据源连接、细粒度 Role/Policy 权限、Taxonomy 策略标签列级权限、DataPolicy 动态数据脱敏、ML 模型多版本管理；CLI（maxc）支持 JSON 结构化输出和 Linux/macOS/Windows 全平台，适用于 cron 调度和 Agent 批量操作。

行业影响

MaxCompute 此次发布的 Agentic 五件套与 Snowflake CoCo/Cortex Sense 和 Databricks Genie/Omnigent 形成”AI 代理进入数据平台”的三足鼎立格局。与前两者不同，MaxCompute 采用”桌面客户端 + MCP Server + Skills + SDK + CLI”五位一体策略，既覆盖了人类分析师（Client）也覆盖了 AI Agent（MCP Server + Skills），还兼顾了深度定制开发者（SDK + CLI）和脚本自动化场景。生态集成方面，已与飞书、钉钉深度打通——支持飞书云盘文件批量导入多模态表、飞书表格一键摄取深度计算、分析结果一键回写飞书表格，形成”非结构化数据挖掘到协同分发”的完整闭环。

值得注意的是，MaxCompute 作为阿里集团内部 EB 级数据存储的核心底座，其 Agent 化升级将直接影响数以万计的内部数据工程师和分析师的工作方式。从”多工具切换”到”单一工作台 + 自然语言驱动”，这种范式的转变如果成功落地，将为整个行业提供”传统数据仓库如何拥抱 Agent 时代”的标杆案例。

相关链接

StarRocks 湖仓多模态检索：一条 SQL 搞定全文+标量+向量三路融合召回

事件概述

2026 年 7 月 9 日，阿里云 EMR Serverless StarRocks 发布湖仓多模态检索能力，在 OLAP 引擎内原生集成 BM25 全文搜索、标量过滤和向量近邻搜索（ANN）三路融合查询。核心技术突破在于：过去需要 Elasticsearch（全文）+ 向量数据库（语义搜索）+ 分析引擎（标量过滤）三个系统协同完成的工作，现在只需一个引擎、一条 SQL、一条统一执行路径即可完成。

技术解析

三路融合架构：全文搜索基于 BM25 排序 + 倒排索引 + 中英文智能分词；向量搜索支持 HNSW / IVFPQ / DiskANN 近似搜索算法；标量过滤通过 BITMAP 索引加速。三路在引擎内并行召回后，通过 RRF（Reciprocal Rank Fusion）算法统一评分，合并重排序后返回最终 Top-K。召回率相比传统”先向量后过滤”方案提升 30% 以上。
In-Filter 深度优化：这是整个方案最关键的技术创新。传统方案先取向量 Top-200 再应用标量过滤——如果”暴雨 + 城市道路 + 有行人”仅占数据集的 2%，过滤后可能只剩 4 条记录，导致结果严重不足。In-Filter 在向量搜索过程中同步执行标量过滤，利用 Lake Optimizer 先用标量谓词缩小搜索范围再计算向量，确保结果集完整。
数据不出湖：支持 Paimon / Iceberg / Lance 三种开放湖格式的直接读写。自研 Native Reader/Writer 直接解析湖表文件，配合 Lake Optimizer 智能查询规划（利用湖表文件布局和分区特性优化查询路径）。检索结果通过 Partial Update 直接写回源表——从写入、检索、标注到训练消费，数据始终在同一张 Paimon 表，零移动、零冗余副本。
与 Spark 的协同分工：StarRocks 负责在线交互检索（亚秒级到秒级延迟），Spark 负责大规模离线批处理和批量向量生成（内置 AI Function 通过 SQL 调用 LLM 生成向量）。两者共享底层 Paimon 湖表，形成”Spark 写入 + StarRocks 检索 + Partial Update 标注 + Spark 下游消费”的完整闭环。

行业影响

StarRocks 此次发布标志着 OLAP 引擎正在从”纯分析引擎”向”多模态智能检索引擎”演进。这一趋势与 ClickHouse 在 5 月 Open House 上发布的全文搜索索引和向量搜索能力、以及 Databricks AI Search（原名 Vector Search）的混合搜索（向量 + 全文 + 重排序）方向一致。但 StarRocks 的差异化优势在于：作为 OLAP 引擎，其 Native Reader/Writer 对湖表格式的深度优化和 Serverless 存算分离架构（空闲时零计算成本、扩缩容无需重建索引），使”一个引擎覆盖分析 + 检索”的愿景更接近生产现实。

阿里集团内部 AI 数据场景的实践数据（百亿级多模态数据、成本降低 60%、召回率提升 30%+）表明，这种”湖原生多模态检索”架构已经在超大规模生产环境中经过验证。对于正在规划 RAG 知识库、多模态电商搜索、自动驾驶数据挖掘等场景的团队，StarRocks 提供了一条值得评估的”少系统、少副本、少同步”的技术路径。

相关链接

AWS Glue 原生支持 Spark Connect：IDE 直连 Serverless ETL

事件概述

2026 年 7 月 7 日，AWS 宣布 AWS Glue 交互式会话原生支持 Apache Spark Connect 协议。通过轻量级 gRPC 协议，开发者可以在 VS Code、PyCharm、JupyterLab 或任何 Python 环境中直接连接 Glue 的 Serverless Spark 后端执行 ETL 作业，无需安装专用内核或管理集群基础设施。SageMaker Unified Studio 提供一键连接体验，sagemaker-studio Python SDK 则将这一能力扩展到本地 IDE 和 CI/CD 管道。

技术解析

架构解耦：Spark Connect 将 Spark 客户端从服务端解耦。IDE 通过薄客户端层（thin client）经 gRPC/Protobuf 协议与远程 Glue Spark 后端通信，DataFrame API 被转换为逻辑计划发送，结果通过 gRPC/Arrow 流式返回。会话创建约 30 秒，认证令牌 30 分钟自动刷新。
双路径接入：SageMaker Unified Studio 提供零配置体验——在 Notebook 的 Compute 面板中选择 Glue Spark 连接，会话自动创建、端点自动获取、令牌自动刷新。sagemaker-studio SDK 则通过 sparkutils.init() 单行调用实现相同流程，并额外提供 get_spark_options() 获取 Redshift / Aurora / DocumentDB 预配置 JDBC 连接选项。对于自定义容器、Lambda 或非 Python 工具链，可直接通过 Boto3 的 CreateSession → GetSessionEndpoint → SparkSession.builder.remote() 三步工作流接入。
监控与可观测：Spark Live UI 新增 Connect 标签页，实时展示活跃 Spark Connect 会话和操作，与 Jobs / Stages / Executors / SQL 视图并列。在 SageMaker Unified Studio 中，状态栏的 “Ready” 按钮可一键跳转 Spark UI 或 Spark Driver Logs。

行业影响

Spark Connect 在 AWS Glue 的落地，完成了 Spark Connect 从”EMR Serverless 的专属能力”到”AWS Glue 的通用入口”的扩展。两者的分工也逐渐清晰：EMR Serverless 面向通用 Spark 工作负载（数据科学、机器学习特征工程），Glue 面向 ETL 和数据集成（数据目录感知、连接器生态、Data Catalog 集成）。对于已经在 Glue 上运行 ETL 管道的团队，这一更新意味着可以在 IDE 中完成开发—调试—测试的完整闭环，无需在本地 Spark 和远程 Glue 之间反复切换上下文。

从更广的行业视角看，Spark Connect 的逐步普及正在改写 Spark 的开发范式：从”在集群上运行 Driver”到”在 IDE 中通过薄客户端远程执行”。Databricks 通过 VS Code / Cursor 原生集成（Vol.13 报道）和 AWS 通过 EMR（Vol.21）+ Glue（本期）相继落地 Spark Connect，标志着”Spark 的 IDE 原生时代”已经到来。

相关链接

编者评

三件事看似独立，实则指向同一个趋势：数据基础设施正在从”工具链”演变为”Agent 原生平台”。MaxCompute 的 Agentic 五件套让数据仓库从”被动存储 + 查询”变为”主动服务 AI Agent”——Agent 不再需要人类手把手教它查元数据、读执行计划；StarRocks 的三路融合检索让 OLAP 引擎从”分析”扩展到”搜索 + 语义理解”——一条 SQL 替代三个系统，本质上是把检索能力”下沉”到数据平台内部而非外部拼接；AWS Glue 的 Spark Connect 让 Serverless ETL 从”控制台 + 专用内核”走向”IDE 直连”——开发体验的统一背后是计算与交互的彻底解耦。从”人适应工具”到”工具适应人（以及 Agent）“，这或许就是 2026 年 DataInfra 最深刻的底层逻辑。