Google DeepMind 发布 Decoupled DiLoCo：分布式 AI 训练新架构，故障恢复能力提升 3 倍

今日动态

本期追踪到 1 项核心进展。今日 14 家厂商研究官网中，Google DeepMind 发布了分布式 AI 训练新架构 Decoupled DiLoCo。

---

🏢 Google DeepMind：Decoupled DiLoCo——分布式 AI 训练新架构，故障恢复能力提升 3 倍

发布时间：2026-04-26 来源：DeepMind 研究博客

内容摘要：

Google DeepMind 今日发布了名为 Decoupled DiLoCo 的新型分布式 AI 训练架构，这是对现有 Pathways 和 DiLoCo 系统的重大升级。该架构通过创建”解耦的计算孤岛”实现异步训练，解决了大规模分布式训练中的可扩展性和弹性挑战。

技术核心创新：

• 解耦孤岛设计：将计算资源划分为独立的”孤岛”，各孤岛异步训练，隔离局部故障
• 极低带宽需求：在 8 个数据中心间仅需 0.84 Gbps 带宽，相比传统方法的 198 Gbps 大幅降低
• 硬件异构支持：能够跨不同代硬件进行训练，延长现有基础设施寿命

实验结果：

• 故障恢复能力：在高故障率下保持 88% 的”良好吞吐量”，而传统方法仅为 27%
• 性能保持：在 Gemma 4 模型上实现 64.1% 的基准精度，与传统同步方法的 64.4% 几乎相同
• 训练速度：12B 参数模型在四个美国区域训练速度比传统同步方法快 20 倍以上

值得关注的原因：

• 生产级分布式预训练：首次实现使用标准互联网连接进行生产级完全分布式预训练
• 资源利用优化：能够利用”闲置资源”和混合硬件，降低训练成本
• AI 基础设施演进：为未来 AI 规模化训练提供了新的架构范式
• 实际部署价值：已在 Google 内部基础设施中验证，具备立即部署的可行性

相关链接：

• 论文博客
• 技术文档

---

今日速览

• Google Cloud Next 2026 进行中：Google Cloud Next 大会（4/22-24）正在拉斯维加斯举行，预期将公布 Ironwood TPU、Gemini 3.1 Pro 企业版等重要更新 (Google Cloud Next 官网)

---

编者按

今日的单一进展背后是 AI 基础设施领域的重要趋势：从追求单点性能转向系统级优化。Decoupled DiLoCo 的价值不在于提升单个 GPU 的算力，而在于如何让数千个 GPU 协同工作时保持高效和稳定。

这种”解耦孤岛”的设计思路值得关注——它承认了现实世界中的网络不稳定性和硬件异构性，而不是假设理想化的同构环境。对于需要跨地域、跨数据中心训练大型模型的企业而言，这种架构提供了更实际的解决方案。

随着 AI 模型规模继续增长，分布式训练的效率将成为决定性的竞争因素。Google DeepMind 的这次发布为行业提供了新的技术路径，也预示着 AI 基础设施竞赛进入新的阶段。