datainfra前沿动态 · Vol.5

DuckDB Lance扩展让湖仓格式迎来向量搜索原生能力；Spark 4.1.2维护版修复安全与正确性；OpenTelemetry毕业进入AI基础设施时代；RocketMQ for AI用Lite-Topics重新定义消息引擎

第五期聚焦DataInfra四条动态：DuckDB与LanceDB联合发布Lance湖仓格式DuckDB扩展——Lance既是文件格式又是表格式又轻量目录规范，DuckDB扩展暴露向量搜索、全文搜索和混合搜索为SQL原生操作，冷启动场景vector_indexed查询12ms远超Parquet的761ms；Apache Spark 4.1.2作为维护版发布安全与正确性修复，同时4.2.0 Preview 5继续迭代；OpenTelemetry正式从CNCF毕业成为最高成熟度项目，12000+贡献者、2000+公司参与，下载量从7500万/月飙升至2亿/月，CNCF CTO直言'遥测正在成为AI代理的持续感官输入'；Apache RocketMQ发布AI战略升级，Lite-Topics支持数百万级动态主题、Session-as-Topic替代SSE长连接、智能资源调度平滑LLM推理突发

DataInfra DuckDB Lance LanceDB 湖仓格式 向量搜索 混合搜索 Spark OpenTelemetry CNCF 可观测性 AI基础设施 RocketMQ Lite-Topics AI MQ 消息引擎

第五期追踪到DataInfra领域四条重要动态：DuckDB与LanceDB团队在5月21日联合发布Lance湖仓格式DuckDB扩展——Lance作为专为ML/AI工作负载设计的开放湖仓格式，同时是文件格式、表格式和轻量级目录规范三合一，DuckDB扩展将向量搜索、全文搜索和混合搜索暴露为SQL原生操作（lance_hybrid_search表函数），基准测试中Lance冷启动向量索引查询12ms远超Parquet的761ms，热启动混合搜索8ms媲美DuckDB原生索引的11ms；同日Apache Spark 4.1.2维护版发布安全与正确性修复，Spark 4.2.0 Preview 5也于5月1日继续迭代；CNCF在5月21日宣布OpenTelemetry正式毕业——12000+贡献者、2000+公司、JavaScript API月下载量从7500万飙升至2亿，CNCF CTO Chris Aniszczyk直言”遥测正在成为AI代理的持续感官输入”，标志着可观测性框架从”监控系统”向”AI基础设施的神经系统”演进；Apache RocketMQ发布AI战略升级，用Lite-Topics支持数百万级动态主题、Session-as-Topic替代SSE长连接实现会话断点恢复、智能资源调度平滑LLM推理突发——消息引擎正在从”传递数据”转向”编排AI计算”。

DuckDB × Lance：湖仓格式迎来向量搜索原生能力

事件概述

5月21日，DuckDB与LanceDB团队联合发布Lance湖仓格式DuckDB扩展。Lance是专为现代ML和AI工作负载设计的开放湖仓格式——与Parquet不同，Lance同时是文件格式、表格式和轻量级目录规范三合一。DuckDB扩展将Lance的向量搜索、全文搜索和混合搜索能力暴露为SQL原生操作，让DuckDB用户无需离开SQL环境即可执行AI检索工作负载。基准测试显示，在LAION 100万行数据集上，Lance冷启动向量索引查询12ms远超Parquet的761ms，热启动混合搜索8ms媲美DuckDB原生索引的11ms。

技术解析

  • Lance三合一设计：Lance既是列式文件格式（基于片段布局，将数据存储在小的列式块中实现高效随机访问同时保持扫描性能）、又是表格式（支持版本控制、模式演变、索引、MVCC和ACID风格事务更新）、又是轻量级目录规范——三合一设计让Lance在概念上覆盖了Parquet（文件格式）+ Iceberg/Delta（表格式）+ REST Catalog（目录服务）三个层次，但以更轻量的方式实现。添加列或回填数据只写入新文件不触及现有文件，轻量级模式变更对AI数据集频繁迭代场景尤为关键。
  • DuckDB扩展SQL原生搜索：扩展将Lance集成到DuckDB的SQL工作流中，支持直接路径扫描读取、COPY ... TO ... (FORMAT lance)写入、ATTACH ... (TYPE lance)表格式访问、以及SQL表函数暴露Lance原生搜索。核心是lance_hybrid_search表函数——将向量相似性和关键词相关性结合为混合搜索，通过alpha参数控制向量/全文权重，oversample_factor控制召回精度。向量索引创建也通过SQL完成：CREATE INDEX vec_idx ON 'path/dataset.lance' (vec) USING IVF_FLAT WITH (num_partitions = 1, metric_type = 'l2')。
  • 基准测试解读：在LAION数据集（69632行、768维CLIP嵌入、含图像字节和文本）上的对比测试揭示了三个关键结论。冷启动场景（无缓存）Lance在vector_indexed（12ms vs Parquet 761ms，63x快）和hybrid（17ms vs Parquet 465ms，27x快）工作负载上显著领先——这是因为Lance的原生索引无需额外加载即可使用。热启动场景Lance与DuckDB原生索引性能接近（hybrid: 8ms vs 11ms），但Lance的优势在于索引和数据一体存储无需预加载。blob_read（随机访问大型二进制值）Lance与DuckDB indexed性能相当（278ms vs 271ms），远优于Parquet的1559ms——Lance的片段布局在随机访问上比Parquet的行组布局高效得多。
  • 从本地到远程的无缝扩展：支持REST命名空间，DuckDB可连接到远程Lance目录（包括LanceDB Enterprise）。本地开发用本地Lance数据集，生产部署迁移到对象存储+REST目录，迁移路径是增量式的而非破坏性的。

行业影响

DuckDB Lance扩展的发布，与Vol.4报道的DuckDB v1.5.3 Iceberg扩展升级形成互补——DuckDB正在同时支持Iceberg和Lance两种开放湖仓格式。Iceberg面向传统数据湖仓场景（结构化数据、批量读写、MERGE INTO），Lance面向AI/ML场景（嵌入向量、混合搜索、随机访问blob）——两者覆盖了湖仓格式的两个极端需求。

更深层的影响是：Lance的三合一设计挑战了当前湖仓格式”文件格式+表格式+目录服务”的三层分离架构。Iceberg+Parquet+REST Catalog需要三个独立组件协作，Lance用一个格式覆盖三层——对AI数据场景而言，这种”薄但全”的设计可能比”分离但完备”更高效。Lance是否会在AI数据场景下复制Iceberg在结构化数据场景下的成功，取决于生态采用速度——DuckDB扩展是一个好的开始。

相关链接

Apache Spark 4.1.2：维护版的安全与正确性修复

事件概述

5月21日，Apache Spark发布4.1.2维护版本。这是一个包含安全修复和正确性修复的稳定版，官方强烈建议所有4.1用户升级。同日，Spark 4.2.0的第五个预览版（Preview 5）也已于5月1日发布，继续为下一个大版本迭代——但Preview 5不是稳定版，API和功能可能变更。

技术解析

  • 维护版定位：4.1.2基于branch-4.1维护分支，专注于安全修复和正确性修复而非新功能。这类维护版本对生产环境至关重要——安全漏洞和正确性问题在分布式计算引擎中可能导致数据泄露或计算结果偏差。
  • 4.2.0 Preview路线：Spark 4.2.0已发布5个Preview版本（3月12日、4月9日、5月1日等），社区反馈窗口持续开放。Preview版本的主要目的是让社区提前体验即将发布的4.2.0代码，通过邮件列表和JIRA提交反馈。
  • 版本节奏：Spark 4.1系列自发布以来已推出4.1.0→4.1.1→4.1.2三个版本，4.2.0则通过密集的Preview版本收集反馈。这表明Spark社区在维持稳定版快速修复的同时，通过Preview机制让大版本的质量更加可控。

行业影响

作为DataInfra领域使用最广泛的分布式计算引擎，Spark的版本更新虽不如初创项目那样引人注目，但对生产环境的稳定性至关重要。4.1.2的安全和正确性修复提醒所有Spark用户：分布式计算引擎的”正确性”是数据可信度的基石——如果你的数据管道产出了”看起来合理但实际有偏差”的结果，问题可能不在业务逻辑而在引擎本身的正确性缺陷。

对DataInfra团队而言，4.1.2是一个应该优先升级的版本——安全修复和正确性修复不应该在待办列表中排队。

相关链接

OpenTelemetry毕业：可观测性框架进化为AI基础设施的神经系统

事件概述

5月21日，云原生计算基金会（CNCF）宣布OpenTelemetry正式毕业——这是CNCF的最高成熟度级别，意味着项目的治理稳定性、生产环境采用和长期可持续性得到确认。OpenTelemetry由OpenTracing和OpenCensus两个竞争项目于2019年合并而成，经过7年发展，已拥有12000+贡献者、2000+公司参与，成为CNCF生态中速度第二快的项目（仅次于Kubernetes）。JavaScript API包月下载量从2025年4月的约7500万飙升至2026年4月的超过2亿。

最值得关注的是毕业声明中对AI基础设施时代的定位——CNCF CTO Chris Aniszczyk直言：“遥测正在成为AI代理的持续感官输入。”

技术解析

  • 毕业的技术含义：CNCF毕业流程故意设计得较慢，需要多年的稳定性、安全性和弹性治理建设。毕业确认OpenTelemetry是现代技术堆栈的永久、供应商中立组件，不依赖任何单一商业利益。对企业而言，这意味着可以放心地在OpenTelemetry上构建长期可观测性战略，而非选择任何单一供应商的专有方案。
  • 供应商锁定的削弱：Grafana Labs CTO Tom Wilkie指出，OpenTelemetry通过标准化跨平台的仪器化，帮助削弱了传统可观测性的锁定——“团队不再需要拼凑供应商特定的SDK，新的可观测性参与者可以更容易进入市场，因为仪器化不再是竞争壁垒。“竞争从”谁能收集更多数据”转向”谁能从数据中提取更多智能”——AI驱动的分析能力和成本效益成为新的竞争维度。
  • AI基础设施的新定位：毕业声明中最具前瞻性的内容是对AI工作负载的定位。Aniszczyk的原话：“AI代理和自主系统的转变是当今基础设施最重要的进化压力。OpenTelemetry正在超越传统可观测性框架——它现在成为AI工作负载和模型的基础，要扩展到全新的数量级。“OllyGarden联合创始人Juraci Paixão Kröhling的补充同样精准：“当组织急于将AI工作负载投入生产时，他们发现GenAI系统是分布式系统，具有所有相关的延迟、可靠性和成本问题。OpenTelemetry为这些团队提供了仪器化代理、模型和服务的通用语言。”
  • 下载量增长与AI驱动：JavaScript API月下载从7500万到2亿的增长，与AI代理生成代码的速度直接相关——AI生成的软件比传统开发周期快得多地生成服务、部署和基础设施变更，每个新服务都需要仪器化，而OpenTelemetry是默认选择。

行业影响

OpenTelemetry毕业的意义远超”一个CNCF项目成熟了”。它标志着可观测性从”运维工具”正式升级为”基础设施组件”——与Vol.3-4追踪的”AI代理重塑基础设施”主线形成共振。

此前四期的动态集中在计算引擎（Spark、Ray、Daft）、存储格式（Iceberg、Delta、Lance）和数据路径（MemKV、AL128）为AI代理的重新设计。OpenTelemetry毕业则补上了另一个维度：AI代理的可观测性和可调试性。当AI代理成为基础设施的主要操作者时，遥测数据不再只是”监控仪表盘的输入”，而是”AI代理行为的审计线索”——与Vol.3报道的Unity AI Gateway Payload Logging（将代理行为写入Delta表）形成呼应。两者共同指向一个趋势：AI代理的操作可追溯性正在从”事后调试”变为”基础设施内建能力”。

对DataInfra团队而言，OpenTelemetry毕业带来的行动点不是”开始使用OpenTelemetry”（你可能已经在用了），而是”将OpenTelemetry从运维工具重新定位为AI基础设施组件”——当你的AI代理管道出现异常时，OpenTelemetry的trace和metric应该成为第一调查工具，而非最后的兜底手段。

相关链接

RocketMQ for AI：消息引擎从”传递数据”转向”编排AI计算”

事件概述

5月21日，Apache RocketMQ发布AI战略升级文章，系统阐述了从传统消息中间件向AI原生消息引擎的演进路径。两大核心创新：Lite-Topics支持单集群高效管理数百万级动态主题（传统MQ仅支持数千级），智能资源调度实现流量整形、限流消费和优先级队列管理。三个AI场景应用模式：Session-as-Topic替代SSE/WebSocket长连接实现会话断点恢复、智能计算编排平滑LLM推理突发、基于Google A2A协议的异步Agent间通信。阿里云Model Studio、凌码AI编码助手、阿里巴巴AI Labs等内部产品已大规模验证。

技术解析

  • Lite-Topics与存储引擎升级：支持数百万级动态主题需要解决两个瓶颈——传统文件索引无法扩展到该规模、长轮询通知在单消费者订阅大量主题时存在延迟。RocketMQ的方案：用RocksDB替代传统文件型ConsumerQueue，将队列索引和物理偏移存储为键值对；引入事件驱动拉取（Event-Driven Pull），Broker维护每个消费者的订阅集和就绪集，新消息到达时匹配订阅集并追加到就绪集，消费者轮询就绪集获取所有匹配消息——跨多个主题合并批处理，大幅减少网络往返。
  • Session-as-Topic：为每个AI会话动态创建专属Lite-Topic（如chatbot/{sessionID}），所有交互历史通过该主题有序传输。核心优势是断点恢复——客户端断开连接后重新订阅原Lite-Topic即可从上次中断点恢复，避免了SSE/WebSocket断连导致的上下文丢失和计算浪费。阿里巴巴安全助手已采用此模式，多个阿里云产品AI问答机器人也在使用。
  • 智能计算编排：RocketMQ充当前端请求和后端LLM服务之间的缓冲层，将不规则突发转化为稳定可控的请求流。限流消费在消费者组级别设置配额限制LLM每秒调用次数；优先级队列支持抢占式分配（VIP请求优先消费）和加权分配（基于租户实时任务状态平衡吞吐量和公平性）。阿里云Model Studio案例：平滑网关突发，结合消息优先级防止高容量租户饿死低容量租户。凌码AI编码助手：将代码RAG管道从同步升级为异步，实现大规模向量化和流量平滑。
  • A2A异步通信：基于Google Agent-to-Agent协议，Agent A发送请求时不等待，请求包含唯一回复主题（a2a-topic/{taskID}），Agent B异步处理后发布结果到指定主题，消费完成后自动回收。阿里巴巴AI Labs已基于此模式构建多智能体工作流编排系统。

行业影响

RocketMQ for AI的战略升级，与Vol.4追踪的”AI代理工作负载重塑基础设施”主线形成又一个维度的印证。此前四期看到的趋势是计算引擎和存储格式为AI代理重新设计，RocketMQ则展示了消息中间件为AI代理重新设计的路径。

三个模式中最值得关注的是Session-as-Topic——它本质上是用消息队列的持久化和有序交付替代了SSE/WebSocket的脆弱长连接。当AI代理会话变得越来越长（Vol.4报道的Qwen3.7-Max支持35小时连续运行），长连接的脆弱性成为结构性瓶颈——网络抖动、网关重启、超时都可能导致上下文丢失。Lite-Topics将”连接状态”转为”消息状态”，用持久化替代内存，用有序交付替代实时推送——这是用可靠性换实时性的工程权衡，对AI代理场景而言是正确的选择。

更深层的影响是：消息引擎的角色正在从”传递数据”转向”编排AI计算”。智能计算编排和优先级队列表明，RocketMQ不再只是数据管道，而是AI推理资源的管理层——这与Vol.3报道的Pulumi”代理基础设施时代”（用IaC让代理管理基础设施）和本期OpenTelemetry毕业（用遥测让AI代理可观测）共同构成了AI基础设施栈的三个横切面：编排（RocketMQ）、管理（Pulumi）、观测（OpenTelemetry）。

相关链接

编者评

第五期的四条动态，与前四期的主线形成了新的递进。Vol.1-2确立了”AI原生基础设施”和”基础设施AI代理化”两条主线，Vol.3-4看到AI代理趋势渗透到治理层和存储/芯片层，本期则看到了AI代理趋势向更广泛的基础设施组件扩散——从可观测性到消息引擎。

DuckDB Lance扩展和Spark 4.1.2代表了”工具层”的持续进化：Lance为DuckDB带来了AI检索的原生SQL能力，补上了”Iceberg面向结构化湖仓，Lance面向AI湖仓”的双格式覆盖；Spark维护版的安全和正确性修复则提醒我们，在追逐新趋势的同时，生产级基础设施的稳定性是底线。

OpenTelemetry毕业和RocketMQ for AI则代表了”横切面基础设施”的AI化：OpenTelemetry从监控系统进化为AI代理的感官输入，RocketMQ从数据管道进化为AI计算的编排层。当计算引擎、存储格式、可观测性框架和消息引擎都开始为AI代理工作负载重新设计时，我们看到的不再是”某个基础设施组件支持AI”，而是”整个基础设施栈正在围绕AI代理工作负载重新组织”。

将五期主线串联，一个更完整的图景浮现：AI代理正在从基础设施的”使用者”变为基础设施的”组织原则”。Vol.1-2是基础设施为代理提供操作接口，Vol.3是基础设施为代理提供治理框架，Vol.4是基础设施为代理重新设计数据路径，Vol.5则是基础设施横切面（可观测性、消息传递）为代理重新定义角色。2026年DataInfra领域最深刻的趋势不是某个产品的AI化，而是整个基础设施栈从”为人设计”到”为人+代理协同设计”的范式迁移。