华为云Agentic Infra范式以Token工厂重构AI基础设施;Daft v0.7.15将Iceberg分支标签与PostgreSQL纳入AI数据管道;阿里云Flink VVR 11.7引入Flink Agents与Paimon向量搜索将流式AI代理推向生产
第十九期聚焦DataInfra三条动态:6月5日华为云INSPIRE创想者大会提出Agentic Infra新范式——围绕高效Token工厂+持续学习+通智一体化调度+安全自治四大核心,发布四款基础设施产品:AICS灵衢智算集群支持10万卡级200EFLOPS总算力将Token生成时延压缩至10毫秒以内千卡每秒500万Tokens吞吐,AMS Agentic记忆存储通过NPU直访构建PB级KVCache分层池化支持跨天级超长任务执行,CCE Volcano Next一体化调度引擎将训练推理共池管理资源利用率提升30%以上,AgentSphere轻量级沙箱实现100ms极速启动每分钟10万级批创能力——同期发布ModelArts Next训推平台(模型路由/机密推理/15+模型降低20%调用成本)和AgentArts企业级智能体平台(公测+开源openJiuwen)以及AI DataLake多模态湖仓(Aura引擎/千亿级向量湖/深度优化Iceberg与Lance/异构算力调度)——从'为AI应用提供基础设施'走向'为Agentic AI重构基础设施';Daft v0.7.15于6月6日发布——Iceberg分支与标签读取支持Git式数据开发工作流(Write-Audit-Publish模式在DataFrame层面落地),PostgreSQL通过Apache Gravitino作为结构化数据源接入(pgvector向量类型原生支持/行级安全自动启用),幂等write_deltalake实现跨接收器去重写入,分布式可观测性计数器为检查点提供管道级度量,ASOF join最近邻支持时序对齐查询,UUIDv7时间戳提取分区转换,LZ4成为Shuffle默认压缩,整数专用哈希连接代码路径,Ray原生扩展支持——Daft从'AI数据管道的执行引擎'走向'连接结构化数据与湖仓的AI数据枢纽';阿里云6月3日发布Flink VVR 11.7(基于Apache Flink 1.20.3)——Flink Agents开发支持将流处理引擎与AI代理框架整合构建事件驱动流式AI Agent作业,NVIDIA Triton推理服务器集成将GPU推理引入Flink SQL,Paimon向量搜索存储过程将向量检索带入流式湖仓,Paimon Variant Shredding提升半结构化数据存储查询效率,SQL Server CDC公开预览扩展实时数据捕获源,SQL内置函数调用链安全加固修复代码注入风险——三条动态共同指向Agentic AI对数据基础设施的三层重构:算力层从通用计算走向Token工厂(华为云AICS),数据层从批式分析走向流式AI代理管道(Daft+阿里云Flink),运行时层从独立服务走向Agent执行沙箱(华为云AgentSphere+阿里云Flink Agents)。
第十九期追踪到DataInfra领域三条重要动态:6月5日华为云INSPIRE创想者大会提出Agentic Infra新范式——华为云CEO周跃峰指出Agentic AI正驱动计算范式根本性跃迁,云计算已跨入Token工业化时代,新范式围绕高效Token工厂+持续学习+通智一体化调度+安全自治四大核心,发布四款基础设施产品:AICS灵衢智算集群基于昇腾950芯片和超大带宽灵衢网络支持10万卡级200EFLOPS总算力将Token生成时延压缩至10毫秒以内千卡每秒500万Tokens吞吐99.95%在线服务可用性,AMS Agentic记忆存储通过NPU直接访问上下文记忆存储硬件构建PB级容量KVCache分层池化支持智能体跨天级超长任务执行,CCE Volcano Next一体化调度引擎将训练推理资源共池管理整合碎片资源利用率提升30%以上,AgentSphere轻量级沙箱实现100ms极速启动每分钟10万级批量创建智能体安全自治运行——同期发布ModelArts Next训推平台(模型路由/机密推理/多策略智能调度接入15+前沿大模型帮助企业平均降低20%模型调用成本)和AgentArts企业级智能体平台(公测中,同源内核开源产品openJiuwen同步上线)以及AI DataLake多模态湖仓(Aura多模处理引擎/千亿级向量湖/深度优化Iceberg与Lance开放湖格式/异构算力统一调度/数算分离架构)——华为云同时发布”混合云+Data+AI”战略和《企业如何构建面向智能体的混合云》白皮书,通过AI DataLake多模态湖仓提供多模数据治理和向量检索能力让数据高效服务大模型与Agent——与Vol.18报道的腾讯云三层Agent-Ready数据平台形成中国云厂商在Agent基础设施上的两条路径:腾讯云从”数据平台”切入(DataBuddy+WeData+AI原生底座),华为云从”计算基础设施”切入(AICS+AMS+CCE+AgentSphere);Daft v0.7.15于6月6日发布21位贡献者参与——Iceberg分支与标签读取支持Git式数据开发工作流在DataFrame层面落地(读取特定分支或标签快照实现Write-Audit-Publish零成本实验),PostgreSQL通过Apache Gravitino作为结构化数据源接入(pgvector向量类型原生支持/行级安全自动启用/读追加覆写三种操作模式),幂等write_deltalake实现跨接收器去重写入(管道故障恢复无需担心重复数据),分布式可观测性计数器为检查点提供管道级度量,ASOF join最近邻支持时序对齐查询,try_cast安全类型转换,UUIDv7时间戳提取分区转换,LZ4成为Flight Shuffle默认压缩,整数专用哈希连接代码路径,Ray原生扩展支持,阿里云OSS自动配置Iceberg IOConfig,GCS对象删除操作实现,窗口函数内存使用优化,jemalloc更新至5.3.1修复muzzy decay性能问题——Daft从Vol.4报道的v0.7.14(arrow-rs重写Parquet读取器)到v0.7.15(Iceberg分支标签+PostgreSQL+可观测性),正在从”AI数据管道的执行引擎”走向”连接结构化数据与湖仓的AI数据枢纽”;阿里云6月3日发布Flink VVR 11.7(基于Apache Flink 1.20.3)——Flink Agents开发支持让开发者基于开源Apache Flink Agents框架构建事件驱动流式AI Agent作业(将流处理引擎与AI代理框架整合),NVIDIA Triton推理服务器集成将GPU推理引入Flink SQL的AI Function调用链,ml_predict函数增强可复用CREATE MODEL选择的模型参数减少重复配置,Paimon向量搜索存储过程支持在Flink中查询Paimon向量表,Paimon Variant Shredding提升半结构化数据存储查询效率,SQL Server CDC公开预览扩展实时数据捕获源,SQL内置函数调用链安全加固修复潜在代码注入风险——三条动态共同指向Agentic AI对数据基础设施的三层重构:算力层从通用计算走向Token工厂(华为云AICS将算力衡量单位从FLOPS转向Tokens/s),数据层从批式分析走向流式AI代理管道(Daft将Iceberg Git式工作流引入AI数据管道,阿里云Flink将流式Agent和GPU推理整合到SQL引擎),运行时层从独立服务走向Agent执行沙箱(华为云AgentSphere毫秒级沙箱启动,阿里云Flink Agents事件驱动流式Agent作业)。
华为云Agentic Infra:从Token工厂到Agent运行时的完整基础设施重构
事件概述
6月5日,华为云INSPIRE创想者大会在上海西岸国际会展中心举行。华为公司董事、华为云CEO周跃峰在主旨演讲中指出,Agentic AI正驱动计算范式根本性跃迁,云计算已跨入Token工业化时代——基础设施的核心指标从”提供多少算力”转向”每秒生产多少Token”。基于这一判断,华为云正式提出Agentic Infra新范式,围绕”高效Token工厂+持续学习+通智一体化调度+安全自治”四大核心,发布四款基础设施产品。
AICS灵衢智算集群基于昇腾950芯片和超大带宽灵衢网络,支持10万卡级集群规模,总算力达200EFLOPS,Token生成时延压缩至10毫秒以内,千卡每秒吞吐达500万Tokens,在线服务可用性99.95%。AMS Agentic记忆存储通过NPU直接访问上下文记忆存储硬件,构建PB级容量KVCache分层池化,支持智能体跨天级超长任务执行——解决Vol.6/9追踪的AI推理KVCache效率问题在基础设施层面的系统性方案。CCE Volcano Next一体化调度引擎将训练和推理资源共池管理,整合碎片资源,资源利用率提升30%以上。AgentSphere基于轻量级沙箱技术,实现100ms极速启动和每分钟10万级批量创建智能体,提供意图主动防护的安全自治运行底座。
同期发布ModelArts Next训推平台(模型路由/机密推理/多策略智能调度/接入15+前沿大模型/降低20%调用成本)和AgentArts企业级智能体平台(公测中,同源内核开源产品openJiuwen同步上线),以及AI DataLake多模态湖仓(Aura多模处理引擎/千亿级向量湖/深度优化Iceberg与Lance/异构算力统一调度CPU+GPU+NPU/数算分离架构/秒级弹性)。华为云同时发布”混合云+Data+AI”战略和《企业如何构建面向智能体的混合云》白皮书。
技术解析
- AICS灵衢智算集群——Token工厂的工程实现:将算力衡量单位从FLOPS转向Tokens/s是Agentic Infra的核心范式变更——传统云基础设施衡量算力的指标是FLOPS(每秒浮点运算),但在大模型推理场景,用户真正关心的不是多少次浮点运算而是每秒生成多少Token。AICS的指标体系直接对齐这个需求:200EFLOPS总算力、Token时延<10ms、千卡500万Tokens/s、99.95%可用性。基于昇腾950芯片和灵衢超大带宽网络,10万卡级集群的互联带宽和延迟是关键——当模型参数量达到万亿级时,跨卡通信延迟直接决定Token生成速度。
- AMS Agentic记忆存储——Agent持久记忆的基础设施化:NPU直接访问上下文记忆存储硬件,避免传统CPU中转的数据搬运开销;PB级容量KVCache分层池化让多个Agent共享KV Cache池而非各自独立缓存;支持跨天级超长任务执行——此前AI推理的上下文窗口受限于GPU显存(通常128K-1M Token),AMS将上下文存储从GPU显存卸载到专用存储,让Agent可以维护数天甚至数周的执行上下文。这与Vol.6报道的SGLang分层稀疏注意力(模型层KVCache优化)和Vol.9报道的Tair KVCache HiSim(缓存层模拟优化)形成互补——AMS从基础设施层提供KVCache的持久化和共享能力。
- AI DataLake——面向Agent时代的数据基础设施:Aura多模处理引擎支持数据边读边算避免传统方式的频繁存盘操作,深度优化开放湖格式Iceberg和Lance,千亿级向量湖提供百亿级向量秒级搜索能力,异构算力统一调度实现CPU/GPU/NPU流水线并行。数算分离架构支持零资源起步按需弹性——从Vol.10报道的Hologres CLI & Skills(Agent-Ready数据仓库)到AI DataLake(Agent-Ready数据湖),华为云在数据基础设施的Agent化路径上同时推进仓库和湖两个方向。
- AgentSphere——Agent运行时安全沙箱:100ms极速启动和每分钟10万级批量创建能力,解决了Agent规模化部署的启动延迟和资源隔离问题。意图主动防护在沙箱层面检测和阻断危险操作——与Vol.18报道的腾讯云DataBuddy”Agent Guardrail纵深防护”形成呼应,两家中国云厂商都在Agent运行时安全上投入重兵。轻量级沙箱的设计选择避免了传统容器启动的秒级延迟和资源开销,面向的是Agent短生命周期、高频创建的运行模式。
- 与Vol.18腾讯云的路径对比:腾讯云从”数据平台”切入(DataBuddy智能体+WeData统一控制面+AI原生大数据底座),华为云从”计算基础设施”切入(AICS算力集群+AMS记忆存储+CCE调度引擎+AgentSphere沙箱)。腾讯云回答”Agent如何理解和使用数据”,华为云回答”Agent如何获得算力和运行环境”。两者在AI DataLake/WeData语义层有交叉,但核心定位不同——腾讯云是”数据平台为Agent重构”,华为云是”基础设施为Agent重构”。
行业影响
华为云Agentic Infra的深层意义不是”又一批AI产品发布”,而是中国云厂商首次以”Token工厂”作为基础设施的核心范式。当算力衡量单位从FLOPS转向Tokens/s时,基础设施的设计目标从”通用计算效率”转向”Token生产效率”——这解释了为什么AICS的指标体系完全围绕Token(时延、吞吐、可用性)而非传统HPC指标。
“Token工业化”的提法尤其值得关注。周跃峰在接受采访时表示华为云”不太在乎Token总量”,也不”简单比拼收入规模”,核心战略是”避开通用C端流量的内卷,深耕国计民生行业的黑土地”。这暗示华为云的Token工厂定位不是消费级API服务(如OpenAI/Anthropic的推理API),而是面向政企客户的私有化Token生产能力——混合云架构让客户在自有数据中心部署AICS集群,Token生产在客户侧完成,数据不出域。
AMS Agentic记忆存储的”PB级KVCache分层池化”解决了一个行业痛点:此前Agent的长期记忆要么存储在向量数据库中(检索延迟高、语义精度有限),要么存储在KV Cache中(容量受限于GPU显存)。AMS将KV Cache从GPU显存卸载到专用存储,通过NPU直访避免CPU中转延迟,让Agent可以维护跨天级的执行上下文——这对企业级Agent场景(如持续运行的客服Agent、需要周级上下文的研发Agent)是关键能力。
相关链接
- 华为云发布Agentic AI系列新品 打造智能时代”硅基黑土地”
- 华为云发布”混合云+Data+AI”战略,定义数智跃升新范式
- 智能数据湖 AI DataLake
- 直击华为云创想者大会:打造Token工厂
Daft v0.7.15:Iceberg分支标签与PostgreSQL扩展AI数据管道的湖仓连接
事件概述
6月6日,Daft发布v0.7.15版本,21位贡献者参与。这是继v0.7.14(5月20日发布,Vol.4曾报道其arrow-rs重写Parquet读取器)以来的又一重要更新,核心变化是将Daft从”AI数据管道的执行引擎”扩展为”连接结构化数据与湖仓的AI数据枢纽”。三个标志性功能:Iceberg分支与标签读取(Git式数据开发工作流在DataFrame层面落地)、PostgreSQL通过Apache Gravitino作为结构化数据源接入(pgvector向量类型原生支持)、幂等write_deltalake(跨接收器去重写入)。同时新增分布式可观测性计数器、ASOF join最近邻、try_cast安全类型转换、UUIDv7时间戳提取分区转换等功能。性能方面:LZ4成为Flight Shuffle默认压缩、整数专用哈希连接代码路径、窗口函数内存使用优化、jemalloc更新至5.3.1修复muzzy decay性能问题。生态方面:Ray原生扩展支持、阿里云OSS自动配置Iceberg IOConfig、GCS对象删除操作。
技术解析
- Iceberg分支与标签读取——Write-Audit-Publish在DataFrame层面落地:Iceberg的分支(branch)和标签(tag)功能允许在表级别创建独立的快照链和不可变标记——如同Git中的分支和标签,支持零成本实验(100TB表的分支创建是即时的、零存储成本的,直到新数据写入分支)。Daft v0.7.15的read_iceberg现在支持指定分支或标签读取特定快照,这让Write-Audit-Publish模式可以在Python DataFrame层面直接落地:开发者在分支上写入新数据→在分支上运行质量检查→通过后合并到主分支。此前这一模式需要Spark存储过程(如Vol.13报道的Lakebase数据库分支的CI/CD集成),Daft将其下沉到Python DataFrame API——对AI数据管道开发者更友好,无需切换到Spark生态。
- PostgreSQL via Gravitino——结构化数据源接入AI管道:通过Apache Gravitino(统一的元数据目录)将PostgreSQL作为结构化数据源接入Daft。原生支持pgvector的VECTOR类型(嵌入向量列自动转换),行级安全自动启用,支持读/追加/覆写三种操作模式。这意味着AI数据管道可以直接从业务数据库读取结构化数据(如用户画像、交易记录),在Daft中与湖仓数据(Iceberg/Delta Lake)和多模态数据(图像/音频/视频)联合处理——此前Daft的数据源主要面向湖仓格式和对象存储,PostgreSQL的引入让AI管道可以”直连”业务系统数据。与Vol.17报道的AliSQL DuckDB(OLAP嵌入MySQL)形成对比:AliSQL DuckDB让分析引擎嵌入OLTP数据库,Daft让AI管道直连OLTP数据库——一个从数据库内部扩展分析能力,一个从管道外部接入业务数据。
- 幂等write_deltalake——管道故障恢复无需担心重复数据:实现跨接收器的幂等写入和去重辅助函数。在分布式数据管道中,任务失败重试是常态——此前write_deltalake在重试时可能写入重复数据,需要额外去重步骤。幂等写入确保相同数据只被写入一次,简化了管道的错误处理逻辑。这对AI数据管道尤为重要——模型训练数据的重复会导致训练偏差,此前需要手动维护去重逻辑。
- 分布式可观测性计数器——检查点级别的管道度量:为检查点(checkpoint)添加分布式可观测性计数器,提供管道级别的运行时度量。此前Daft的检查点机制缺乏细粒度的度量——当管道运行在Ray分布式集群上时,了解每个阶段处理了多少数据、耗时多少、是否有数据倾斜是诊断问题的关键。分布式计数器让开发者在检查点级别监控管道运行状态。
- 性能优化:LZ4成为Flight Shuffle默认压缩(此前可能使用更高压缩比但更慢的算法,LZ4在压缩速度和解压速度间取得更好平衡,对Shuffle这种网络密集型操作更优);整数专用哈希连接代码路径(当连接键是整数类型时使用更快的哈希函数,避免通用哈希函数的类型判断开销);窗口函数内存使用优化(减少finalize()步骤中不必要的数据副本);jemalloc从5.3.0更新到5.3.1修复muzzy decay性能问题(内存分配器的bug可能导致内存不及时释放影响长时间运行的管道)。
行业影响
Daft v0.7.15的三个核心功能——Iceberg分支标签、PostgreSQL接入、幂等Delta Lake写入——共同指向一个方向:AI数据管道正在从”只处理湖仓数据”走向”连接结构化数据与湖仓的统一枢纽”。
Iceberg分支标签读取让Git式数据开发工作流在AI管道中落地,这与Vol.13报道的Databricks Lakebase数据库分支异曲同工——Lakebase在OLTP数据库层面实现分支,Daft在DataFrame层面实现分支。两条路径反映了不同场景的需求:OLTP数据库的分支面向”开发者的数据库隔离环境”,DataFrame的分支面向”数据管道的质量验证流程”。
PostgreSQL接入的意义不仅在于增加一个数据源——通过Gravitino元数据目录的统一接入,Daft可以访问任何Gravitino支持的结构化数据源,而不仅限于湖仓格式。这回应了一个行业趋势:AI数据管道的数据来源正在从”数据湖/仓库”扩展到”业务系统数据库+数据湖/仓库+对象存储”的混合数据源。当AI模型需要结合用户行为数据(来自数据库)和训练语料(来自湖仓)时,统一的数据管道引擎比分散的工具链更高效。
Daft的定位正在从Vol.4报道时的”面向多模态AI工作负载的分布式DataFrame”演变为”面向AI数据管道的统一数据枢纽”——不仅是执行引擎,更是连接不同数据世界的桥梁。当Iceberg湖仓数据、Delta Lake管道数据、PostgreSQL业务数据和对象存储多模态数据都可以在同一个DataFrame API中访问和处理时,AI数据管道的构建从”组装多个工具”简化为”编写一个DAG”。
相关链接
阿里云Flink VVR 11.7:Flink Agents与Paimon向量搜索将流式AI代理推向生产
事件概述
6月3日,阿里云实时计算Flink版发布引擎版本VVR 11.7(基于Apache Flink 1.20.3)。这是Flink在AI方向最全面的一次版本更新——Flink Agents开发支持将流处理引擎与AI代理框架整合,让开发者基于开源Apache Flink Agents框架构建事件驱动流式AI Agent作业;NVIDIA Triton推理服务器集成将GPU推理引入Flink SQL的AI Function调用链;Paimon向量搜索存储过程将向量检索能力带入流式湖仓;Paimon Variant Shredding提升半结构化数据存储查询效率。同时新增SQL Server CDC公开预览、SQL内置函数调用链安全加固、ml_predict函数增强(复用CREATE MODEL参数)、Kafka YAML Source增强(重复键容忍/Tombstone转DELETE)、MySQL CDC字段名大小写处理优化等。核心连接器Elasticsearch/Kafka/Paimon/Hologres/MySQL持续稳定性改进。
技术解析
- Flink Agents开发支持——流处理引擎变为AI代理执行引擎:基于开源Apache Flink Agents框架,开发者可以在Flink中构建事件驱动的流式AI Agent作业。此前Flink的处理模型是”数据流经算子链”(Source→Transform→Sink),AI Agent的处理模型是”感知→推理→行动”的循环。Flink Agents将两者整合——Agent的感知来自Kafka等流式数据源,推理通过AI Function调用大模型,行动通过Sink输出结果或触发下游操作。事件驱动意味着Agent不是持续轮询而是由事件触发——当新数据到达时Agent被激活处理,空闲时不消耗资源。这与华为云AgentSphere的”100ms极速启动”设计理念一致——Agent是短生命周期、按需激活的运行模式,而非持续运行的长服务。
- NVIDIA Triton推理服务器集成——GPU推理进入Flink SQL:AI Function此前支持通过HTTP调用外部推理服务(如OpenAI API),NVIDIA Triton集成将推理服务拉回到Flink集群内部——通过NVIDIA Triton Inference Server提供本地GPU推理,减少网络延迟和数据搬运开销。这对实时性要求高的流式AI场景(如实时推荐、欺诈检测、异常监控)尤为关键——此前调用远程推理API的延迟在百毫秒级,本地GPU推理可以将延迟降低到毫秒级。与ml_predict函数增强(复用CREATE MODEL参数)配合,Flink SQL现在可以选择推理部署模式:小模型用ml_predict本地推理,大模型用AI Function远程调用,GPU密集型推理用NVIDIA Triton。
- Paimon向量搜索——流式湖仓的向量检索能力:新增vector_search存储过程支持在Flink中查询Paimon向量表。Paimon作为Flink生态的原生湖格式(类似Iceberg之于Spark),此前主要支持结构化数据的流式读写。向量搜索的加入让Paimon从”流式湖仓”走向”流式向量湖仓”——流式数据写入Paimon后可以立即进行向量检索,无需先导出到外部向量数据库。这与Vol.17报道的Databricks AI Search(从纯向量走向向量+全文混合)方向互补——Databricks在查询引擎层做向量检索,阿里云在存储格式层做向量检索。
- Paimon Variant Shredding——半结构化数据的列式优化:改善Variant类型在Paimon中的存储和查询效率。Variant是Iceberg V3/Delta Lake中引入的半结构化数据类型(类似JSON但类型化),Shredding将嵌套字段拆解为独立列存储——查询特定嵌套字段时无需读取整个Variant值。这与Vol.7报道的Iceberg 1.11.0的Variant shredding能力在Flink生态的落地。
- SQL内置函数调用链安全加固——修复代码注入风险:修复SQL内置函数调用链中潜在的代码注入风险,提升作业运行时健壮性。在Flink SQL被AI代理生成的场景下(如Vol.18报道的DataBuddy自然语言生成SQL),SQL注入风险被放大——AI代理可能生成包含恶意代码的SQL语句。安全加固是Flink作为AI代理执行引擎的必要保障。
行业影响
阿里云Flink VVR 11.7的深层意义不是”又一个Flink版本更新”,而是流处理引擎从”数据处理管道”走向”AI代理执行引擎”的定位跃迁。
Flink Agents开发支持的发布标志着Flink正式进入AI代理基础设施领域——此前Flink的角色是”实时数据管道”(数据从A流向B,中间经过清洗/聚合/关联),现在Flink的角色扩展为”AI代理运行时”(数据触发Agent感知→Agent推理→Agent行动)。这个角色转变的核心是”事件驱动”——Agent不是持续运行的(那是传统微服务模式),而是由事件触发、处理完即释放(这是Agent的典型运行模式)。
Paimon向量搜索将向量检索从”独立向量数据库”拉回到”湖仓格式”内,这与Vol.12报道的LanceDB v0.30.0稳定版(向量数据库原生支持流式摄取)和Vol.17报道的Databricks AI Search(搜索基础设施层向量+全文混合)形成三路径对比:LanceDB从”向量数据库”走向”流式摄取”,Databricks从”查询引擎”走向”混合搜索”,阿里云从”湖仓格式”走向”向量检索”——三个方向都在消除”向量数据需要独立系统管理”的运维负担。
NVIDIA Triton集成和三种推理模式(ml_predict本地/Triton GPU/AI Function远程)提供了推理部署的灵活性——此前流式AI应用需要在”低延迟本地推理”和”高精度远程推理”之间二选一,现在可以在同一个Flink SQL作业中混用不同推理模式,不同算子根据精度和延迟需求选择最合适的推理路径。
相关链接
编者评
第十九期的三条动态,将Vol.18追踪的”AI与DataInfra深度融合”主线从”数据转换层/运行时层/平台层”推进到”算力层/数据层/运行时层”——三个层面的共同驱动力是Agentic AI对基础设施的重构需求。
第一个层面是算力层从通用计算走向Token工厂:华为云AICS将算力衡量单位从FLOPS转向Tokens/s。 此前云基础设施的设计目标是”提供尽可能多的通用算力”(FLOPS/GPU卡数/存储容量),AICS的设计目标是”以最高效率生产Token”——Token时延、Token吞吐、Token服务可用性成为核心指标。这个范式变更的深层含义是:当Agent成为计算的主要消费者时,Agent不关心底层用了多少浮点运算,只关心”我发出的请求多久能得到响应”和”每秒能处理多少请求”。Token工厂的提法将计算抽象从”资源视角”转向”产品视角”——算力不再是需要配置和管理的资源,而是按需生产的Token产品。
第二个层面是数据层从批式分析走向流式AI代理管道:Daft将Iceberg Git式工作流引入AI数据管道,阿里云Flink将流式Agent和GPU推理整合到SQL引擎。 Daft的Iceberg分支标签读取和阿里云Flink的Flink Agents从两个方向将”数据管道”重构为”AI代理管道”——Daft在DataFrame层面实现Write-Audit-Publish(数据质量保障),Flink在流处理层面实现事件驱动Agent(实时感知推理行动)。两者互补:Daft解决AI数据管道的”数据从哪来、如何验证”问题,Flink解决AI代理管道的”如何实时响应事件”问题。当数据质量保障(Daft的分支验证)和实时响应能力(Flink的流式Agent)结合时,AI代理的”可靠性”和”实时性”同时获得保障。
第三个层面是运行时层从独立服务走向Agent执行沙箱:华为云AgentSphere毫秒级沙箱启动,阿里云Flink Agents事件驱动流式Agent作业。 此前Agent的运行方式有两种:长运行服务(如ChatGPT的对话服务)和短任务脚本(如一次性数据查询)。Agentic AI需要的是第三种运行模式:按需激活、短生命周期、安全隔离、高频创建。AgentSphere的100ms沙箱启动和Flink Agents的事件驱动模式都在实现这种运行模式——Agent不是”部署后持续运行”的服务,而是”被事件触发、执行任务、释放资源”的弹性工作单元。这对基础设施的要求与传统微服务完全不同:启动速度比稳态性能更重要(Agent可能只运行几秒),隔离性比吞吐更重要(Agent间不应互相干扰),安全防护比功能完整性更重要(Agent可能执行危险操作)。
将十九期主线串联,Agentic AI对DataInfra的重构正在形成三层图谱: 算力层从通用计算走向Token工厂(AICS 200EFLOPS/500万Tokens/s),数据层从批式管道走向AI代理管道(Daft Iceberg分支+Flink Agents+Paimon向量搜索),运行时层从长运行服务走向Agent执行沙箱(AgentSphere+Flink Agents事件驱动)。三层重构的共同逻辑是:当Agent成为计算的主要消费者时,基础设施必须从”为人设计”走向”为Agent设计”——人关心的是功能完整性和使用便利性,Agent关心的是启动速度、Token吞吐和执行隔离。华为云从算力层切入(Token工厂),Daft从数据层切入(AI数据枢纽),阿里云从流处理层切入(流式AI代理引擎)——三条路径交汇的终点是同一个愿景:为Agent原生构建的数据基础设施。