PyTorch Monarch 引入 AMD GPU：实现弹性容错训练，助力大规模 AI 基建稳定发展

转载 于 2026-07-26 08:44:26 发布 · 2 阅读 · 0 GEO检测

将 PyTorch Monarch 引入 AMD GPU：实现弹性容错分布式训练，迈向稳定大规模 AI 基建

2026 年 7 月 6 日消息，AMD 的侯朝军、Liz Li、Zachary Streeter 等，以及 Meta 的 Matthias Reso、Hamid Shojanazeri、Monarch 团队，将 PyTorch Monarch 引入了搭载 ROCm 的 AMD Instinct GPU。

训练具有数十亿参数的最先进大语言模型（LLM），需要在数百或数千个 GPU 上进行分布式训练。在这种规模下，硬件故障是预料之中的事，单个 GPU 内存错误等都可能导致整个训练运行中断。此前的工作虽展示了 FP8 训练在大规模场景下的近线性扩展能力，但大规模训练的可靠性仍是关键挑战。

为应对这些挑战，研究团队将 PyTorch Monarch 引入搭载 ROCm 的 AMD Instinct GPU，把单控制器模型扩展到了 CUDA 环境之外，让这个新兴运行时适配更广泛的硬件生态系统。下面我们来扒一扒这项研究都透露了哪些重点——

挑战：大规模训练的可靠性

传统容错策略依赖定期检查点机制，即按固定间隔将完整的模型状态保存到持久存储中，故障时整个作业从上一个检查点重新启动。但这种方法有显著缺点：

挑战影响
检查点开销将数百 GB 的模型状态写入存储设备会消耗大量时间和 I/O 带宽。
计算资源浪费故障发生时，自上一个检查点以来的所有进度都会丢失。
集群空闲时间在替换故障节点并重新启动作业时，整个集群会处于空闲状态。
可扩展性限制随着集群规模的增大，在任何检查点间隔内发生故障的概率也会增加。

真正的大规模训练，不仅要实现扩展，训练过程还得能从故障中恢复。这就需要一种更动态的方法，允许健康节点在故障节点恢复并重新加入时继续训练，以减少计算资源浪费，提高 GPU 利用率，而 PyTorch Monarch 就能发挥这样的作用。

什么是 PyTorch Monarch？

PyTorch Monarch 引入了一种新的分布式编程范式，让开发者通过单个 Python 程序协调整个 GPU 集群。借助基于 actor 的运行时、进程网格抽象和异步执行模型，Monarch 简化了大规模分布式训练，还支持在一个统一脚本中组合训练、评估和强化学习等复杂工作流程。

该架构在多个层面运行：

  1. Python API：一个单程序接口，开发者编写简单 Python 代码就能实现分布式 GPU 执行。
  2. Monarch 运行时：管理 actor、网格、监督树和张量分片。
  3. Rust 运行时（Tokio）：确保高性能和内存安全。
  4. 基础设施：与 RDMA、RCCL/NCCL、SLURM、Kubernetes 和 SkyPilot 集成。

图 1：PyTorch Monarch 架构将 Python API 与 Rust 运行时和基础设施解耦

Monarch 通过将每个训练副本内使用的并行策略与副本间使用的容错机制解耦，提供了更清晰的容错模型。故障被隔离、分层处理，恢复速度快。

图 2：Monarch 的分层容错模型和监督树

将 Monarch 移植到 ROCm：生态系统集成

将 Monarch 引入 AMD GPU，需要大量工程工作把 GPU 运行时和分布式通信栈移植到 ROCm。研究团队成功实现了三条主要移植路径：

  1. 集体通信：使用 `hipify_torch` 将 C++ 桥接代码从 CUDA 转换为 HIP，并链接到 RCCL，其 API 与 NCCL 类似。
  2. GPU 内存管理：扩展构建系统以自动检测平台，并通过其 HIP 等效项路由 CUDA 驱动 API 调用。
  3. RDMA 集成：配置 `GPU_PLATFORM=rocm` 可保持基于 `libibverbs` 的 RDMA 路径不变，同时将 GPU 端绑定从 CUDA 替换为 HIP 以实现 GPU 直接传输。

图 3：通过 hipify_torch 和自动检测将 Monarch 从 CUDA 移植到 ROCm

此外，有两个跨领域问题影响了移植工作：

  1. HIP 运行时无静态链接：NVIDIA 提供 `libcudart_static.a`，CUDA 路径可直接链接 `cudart_static`，而 ROCm 没为 `libamdhip64` 提供静态等效项，所以 ROCm 构建动态链接 `amdhip64`。两个平台都会额外使用 `dlopen` 加载 GPU 驱动 API 函数，确保两侧运行时契约一致。
  2. 使用 Rust 兼容性垫片而非分叉绑定：`hipify_torch` 重写 C/C++ 头文件后，`bindgen` 会生成 HIP 命名的类型。为避免在每个 Rust 调用点添加 `#ifdef` 分支，研究团队在 `nccl - sys` 和 `rdmaxcel - sys` 中添加了 `rocm_compat` 模块，将 HIP 符号重新导出为 CUDA 名称，其余 Rust 代码保持平台无关性。

这些努力最终在 Rust 中引入了 HIP 类型别名，1171 个测试全部通过，确保了对 ROCm 7.0+ 的全面支持。相关贡献已提交到开源社区（详见 PR [#2393](https://github.com/meta - pytorch/monarch/pull/2393) 和 PR [#2891](https://github.com/meta - pytorch/monarch/pull/2891)）。

如今，基于 ROCm 的 Monarch 提供了完整的生态系统支持，可在 SLURM、Kubernetes 和 SkyPilot 上无缝运行，为 TorchTitan 和 TorchFT 等下游引擎支持生产工作负载。

案例研究：大规模容错训练

为展示 Monarch 在 AMD GPU 上的强大功能，研究团队将其与 TorchTitan 和 TorchFT 集成，构建了一个无需检查点的弹性分布式训练架构。

架构概述

该架构由三层组成：

  • Monarch：作为协调器，管理进程和集群编排。它生成 ReplicaActors 和 Lighthouse 服务，将 GPU 组织成进程网格。
  • TorchFT：在步骤级别处理容错。它与 Lighthouse 联系以进行仲裁协调，执行仲裁 AllReduce 操作，并跳过故障节点。
  • TorchTitan：作为训练引擎，执行前向传播、反向传播和优化器步骤，同时管理检查点和指标。

图 4：集成 Monarch、TorchFT 和 TorchTitan 的 AMD GPU 弹性训练栈

在这种设置下，Monarch 提供了一个监督树，用于细粒度的故障检测和隔离。当训练 actor 中注入故障时，Lighthouse 会检测到故障并由 TorchFT 处理。即使出现对等节点故障，健康的副本也能继续独立训练，无需全局中断。

动态故障恢复工作流程

下面通过一个包含四个副本组的具体场景，了解恢复工作流程：

  1. 正常训练：OrchestrationManager 生成 4 个 ReplicaActors（Monarch 监督器）和一个 Lighthouse。每个 ReplicaActor 生成一个包含 8 个 GPU 进程的副本，运行 TorchTitan 训练器。所有 4 个副本就绪（`quorum_id = 1`），每 20 步进行一次 DiLoCo 梯度同步。
  2. 故障检测：副本 0 中的一个 GPU 进程崩溃。Monarch 监督器在进程死亡前捕获 `report_training_error`（包含完整的回溯信息）。副本 1、2 和 3 被标记为未受影响并继续训练。
  3. 本地重启：ReplicaActor 0 发起原地重启（`_stop_and_restart()`），停止旧的进程网格并生成一个新的。同时，其他 3 个副本继续同步（`quorum_id = 2`）。
  4. 对等检查点传输：Lighthouse 选择副本 1 作为捐赠者。发起从副本 1 到恢复中的副本 0 的对等检查点传输（模型、优化器、调度器和训练器状态）。在新仲裁组形成时，所有副本在仲裁边界处短暂暂停。
  5. 恢复训练：副本 0 同步完成后，新的仲裁组（`quorum_id = 3`）建立，所有 4 个副本恢复 DiLoCo 同步。

图 5：动态故障恢复工作流程展示了无需全局检查点重新加载的对等检查点传输

整个恢复过程无需人工干预，无需完整的检查点重启，对整体训练吞吐量影响最小。

性能特征

研究团队在 SLURM 和 Kubernetes 环境中使用 AMD Instinct MI300 系列集群验证了这一方法。

SLURM 16 节点 MI300 集群（128 个 GPU）

在 16 节点的 SLURM 集群（共 128 个 MI300 GPU）上训练 Llama 3 8B 模型，每 180 秒注入一次 RCCL 故障，每 20 步进行一次仲裁同步。结果出色：

  • 由于注入的故障，活跃工作节点数量在 8 到 16 之间动态波动。
  • 尽管频繁出现故障，训练仍能无缝继续，没有进行完整的重启。
  • 损失曲线显示出稳定的收敛，与未注入故障的基线运行结果非常接近。

图 6：在 16 节点的 SLURM MI300 集群上，尽管频繁出现故障，训练仍能继续。注意，没有一个副本停机超过 30 分钟；恢复速度快，不同的副本动态地经历故障和恢复

Kubernetes 32 节点 MI355 集群（256 个 GPU）

实验扩展到 32 节点的 Kubernetes 集群（共 256 个 MI355 GPU）。参与节点数量在恢复事件期间在 30 到 32 之间略有波动，保持高度稳定，全局平均损失从 12 平稳下降到约 4。这表明 Monarch 容错模型在 SLURM 和 Kubernetes 大规模集群上都能可靠工作。

图 7：在 32 节点的 Kubernetes MI355 集群上实现稳定恢复和平滑的损失收敛

总结与未来方向

大规模训练大型人工智能模型，需要强大计算能力，也需要能应对硬件故障的弹性基础设施。通过将 PyTorch Monarch 引入搭载 ROCm 的 AMD Instinct GPU，研究团队展示了一种实用的容错分布式训练方法，减少了计算资源浪费，提高了 GPU 利用率。

这种集成在 AMD GPU 大规模训练方面取得多项重要成果：

  • 首次在 AMD 硬件上进行大规模验证：成功在 AMD GPU 上部署 Monarch 与 TorchTitan 和 TorchFT，证明 ROCm 软件栈支持先进容错机制。
  • 更清晰的容错模型：Monarch 提供强大监督树和进程网格抽象，隔离故障并实现快速本地恢复。
  • 生态系统就绪：该方法可在 SLURM 和 Kubernetes 上无缝运行，适用于生产工作负载。

关键架构见解是使用 Monarch 基于 actor 的运行时和监督树隔离故障，结合 TorchFT 基于仲裁的同步机制，让健康节点继续训练。对于在 AMD GPU 上运行大规模训练工作负载的团队来说，这种集成提供了更稳定、高效和经济的模型开发之路。

展望未来，研究团队的下一步计划包括：

  • 扩展 NIC 支持并提高运行时性能。
  • 扩展 Monarch 以支持 ROCm 上更多的预训练和强化学习（RL）框架。
  • 进一步优化容错性能，特别是减少重新加入的重新加载延迟，并使恢复过程与计算过程重叠。
  • 继续与 PyTorch 社区进行开源合作。

更多资源

文档

访问 PyTorch 全面的开发者文档

查看文档 ›

教程

获取面向初学者和高级开发者的深入教程

查看教程 ›

资源

查找开发资源并获取问题解答

查看资源 ›

保持联系，获取更新、活动信息和最新消息

提交表单即同意接收 Linux 基金会（LF）及其项目关于其活动、培训、研究、发展和相关公告的营销电子邮件，可随时使用收到的电子邮件页脚中的链接取消订阅。隐私政策。

CSDN榜单
关注
预训练 BERT 使用 Hugging Face 和 PyTorch 在 AMD GPU 上
数字人生
10-24 2548
BERT是一种在2019年提出的语言表示模型。其模型架构基于一个transformer编码器，其中自注意力层对输入的每个token对进行注意力计算，整合了来自两个方向的上下文（因此称为BERT的“双向”特性）。在此之前，像ELMo和GPT这样的模型只使用从左到右的（单向）架构，这极大地限制了模型的表现力；模型性能依赖于微调。本博客解释了BERT所采用的预训练任务，这些任务在通用语言理解评估（GLUE）基准测试中取得了最先进的成果。在接下来的章节中，我们将展示在PyTorch中的实现。这篇。
【AMD GPU】使用A卡进行ai模型训练
热门推荐
qq_44948500的博客
10-16 4万+
stable-diffusion使用
PyTorch学习笔记（16）--在GPU上实现神经网络模型训练
weixin_43981621的博客
08-20 1万+
PyTorch学习笔记（16）–在GPU上实现神经网络模型训练     本博文是PyTorch的学习笔记，第16次内容记录，主要介绍如何在GPU上实现神经网络模型训练。 目录PyTorch学习笔记（16）--在GPU上实现神经网络模型训练1.为什么要用GPU1.1GPU是什么1.2用GPU训练网络模型的好处2.如何用GPU训练神经网络模型2.1代码修改方法12.1代码修改方法23.学习小结 1.为什么要用GPU 1.1GPU是什么     在一台笔记本中往往会听到cpu这个词汇，是中央处理单元（centra
pytorch 多GPU并行训练代码讲解
@bangbang的博客
10-16 1万+
pytorch 多GPU并行训练介绍，参考我之前的博客:pytorch中使用多GPU并行训练。本文主要针对代码部分进行讲解。1. 首先判断有没有可用的GPU，如果没有的话，这边会报错提醒，因为我们的脚本对针对多GPU训练的场景的。2. 初始化各进程环境。
PyTorch 使用GPU训练
别下完这场雪
02-16 3万+
Pytorch 使用GPU训练 使用 GPU 训练只需要在原来的代码中修改几处就可以了。 我们有两种方式实现代码在 GPU 上进行训练 ## 方法一 .cuda() 我们可以通过对网络模型，数据，损失函数这三种变量调用 .cuda() 来在GPU上进行训练 # 将网络模型在gpu上训练 model = Model() model = model.cuda() # 损失函数在gpu上训练 loss_fn = nn.CrossEntropyLoss() loss_fn = loss_fn.cuda()
在 AMD GPU 上开发 Triton Kernel
数字人生
11-08 2527
OpenAI 开发了一种强大的、专注于 GPU 的编程语言和编译器，名为Triton，它可以无缝地在 AMD GPU 上运行。Triton 的目标是使 AI 工程师和科学家能够用最少的专业知识编写高性能的 GPU 代码。Triton 内核之所以性能优越，是因为其块状程序表示，使其能够被编译成高度优化的二进制代码。Triton 还利用 Python 来进行内核开发，使其既熟悉又容易上手。并且，内核只需在定义前简单声明triton.jitpython 装饰器即可轻松编译。
【AI科技】AMD ROCm 6.4 新功能：突破性推理、即插即用容器和模块化部署，可在 AMD Instinct GPU 上实现可扩展 AI
凡森
05-03 1776
现代 AI 工作负载的规模和复杂性不断增长，而人们对性能和部署便捷性的期望也日益提升。对于在 AMD Instinct™ GPU 上构建 AI 和 HPC 未来的企业而言，ROCm 6.4 是一次飞跃。随着领先的 AI 框架、优化的容器和模块化基础架构工具的支持日益增强，ROCm 软件持续获得发展动力，助力客户更快创新、更智能地运营，并掌控其 AI 基础架构。
pytorch的多GPU训练的两种方式
Mr_health的博客
02-08 1万+
方法一：torch.nn.DataParallel 1. 原理 如下图所示：小朋友一个人做4份作业，假设1份需要60min，共需要240min。 这里的作业就是pytorch中要处理的data。 与此同时，他也可以先花3min把作业分配给3个同伙，大家一起60min做完。最后他再花3min把作业收起来，一共需要66min。 这个小朋友就是主GPU。他的过程是：分发 ->并行运算->结果回收。 这就是pytorch要使用的第一种并行方法：torch.nn.DataPa.
Pytorch实现多GPU并行训练（DDP）
木盏
06-29 6829
Pytorch实现并行训练通常有两个接口：DP（DataParallel）和DDP（DistributedDataParallel）。目前DP（DataParallel）已经被Pytorch官方deprecate掉了，原因有二：1，DP（DataParallel）只支持单机多卡，无法支持多机多卡；2，DP（DataParallel）即便在单机多卡模式下效率也不及DDP（DistributedDataParallel）。
在AMD GPU上训练AI模型的终极指南：kohya_ss完整配置教程
最新发布
gitblog_01079的博客
07-16 948
想要用AMD显卡训练自己的AI绘画模型？kohya_ss现在为AMD用户提供了完整的支持！这个强大的AI模型训练工具通过ROCm技术栈，让你能够轻松在AMD显卡上进行模型微调和训练。无论你是想创建独特的艺术风格、训练LoRA模型，还是进行DreamBooth训练，现在都可以用更经济的AMD硬件实现。 ## 🎯 为什么选择kohya_ss进行AMD GPU AI训练？ kohya_ss是一个基
PyTorch Monarch震撼发布！单控制器模型彻底简化分布式AI工作流程
2501_94005722的博客
10-31 775
Monarch现已作为开源项目在GitHub上提供，包含完整的文档、示例notebook以及与Lightning.ai的集成指南。该框架的目标是让集群规模的编排变得像本地开发一样直观，为研究人员和工程师提供从原型到大规模分布式训练的平滑路径。Meta的PyTorch团队近日发布了Monarch，这是一个革命性的开源框架，专门用于简化跨多个GPU和机器的分布式AI工作流程。
PyTorch 使用DataParallel()实现多GPU训练
不忘初心~
08-22 1万+
PyTorch 使用DataParallel()实现多GPU训练
人工智能|GPU加速PyTorch训练
布莱克‌
03-13 2003
我们知道 CPU 做计算靠的是 RAM，GPU 做计算靠的是 VRAM（Video Random Access Memory），VRAM 是 GPU 的专用内存。苹果的 MPS（Metal Performance Shaders）扩展了 PyTorch 框架，可以作为 PyTorch 的后端加速 GPU 训练，它提供了在 Mac 上设置和运行操作的脚本和功能，MPS 通过针对每个 Metal GPU 系列的独特特性进行了微调的内核来优化计算性能。在推理环节，利用训练好的模型，使用大量数据推理出各种结论。
AI人工智能时代，PyTorch如何助力模型训练
AI大模型应用之禅
06-08 1059
随着人工智能技术的飞速发展，深度学习模型的训练变得越来越复杂和重要。PyTorch作为一个开源的深度学习框架，具有动态图、易于使用等优点，在学术界和工业界都得到了广泛的应用。本文的目的是详细介绍PyTorch在模型训练中的各个方面，包括其核心概念、算法实现、实际应用等，帮助读者掌握使用PyTorch进行高效模型训练的方法。本文的范围涵盖了从基础的概念讲解到实际项目的案例分析，适合不同层次的读者深入学习。
AMD GPU AI训练终极指南：用kohya_ss轻松实现Stable Diffusion模型训练
gitblog_00466的博客
06-09 309
你是否曾为AMD显卡在AI绘画训练中的兼容性问题而苦恼？今天，我将为你介绍一款革命性的工具——kohya_ss，它能让你在AMD GPU上轻松进行Stable Diffusion模型训练！无论是LoRA模型训练还是DreamBooth微调，kohya_ss都为你提供了完整的ROCm技术栈支持。让我们一起来探索这个AMD GPU AI训练的终极解决方案吧！ ## 🤔 为什么AMD GPU用户需要
Windows运维体验AMD AI云：领取算力到跑通PyTorch
CSDN 操作系统技术领域专家，专注企业级 Windows 桌面运维、Sysinternals 证据链排障、PowerShell 自动化与系统部署，持续沉淀一线实战经验。
07-04 9010
本文记录了从Windows运维视角体验AMD AI开发者云的完整流程。首先介绍了云端AI算力对运维人员的价值，可避免本地环境配置问题。随后详细展示了进入AMD AI开发者计划、查看账号权益、兑换GPU算力的步骤（1积分兑换1小时算力）。接着进入Radeon Cloud云平台，选择PyTorch模板启动Notebook工作区。最后通过简单的矩阵运算和PyTorch代码验证了GPU环境可用性。整个过程无需配置本地驱动和环境，适合需要快速验证AI实验的运维人员和技术人员。
如何使用 PyTorch 实现多GPU训练？
coszhuang的博客
05-01 1434
该模块将模型复制到每个GPU上，自动拆分输入数据，并在每个GPU上计算梯度。多GPU训练的核心原理是将模型参数和计算任务分配到不同的GPU上，并利用并行计算的优势加速训练过程。分发数据并计算梯度：在每个GPU上分发输入数据，并在每个GPU上计算模型的输出和梯度。通过以上步骤，我们成功地实现了PyTorch中的多GPU训练，并且加速了模型训练过程。在每个训练迭代中，将输入数据和标签移动到GPU上，并在每个GPU上计算损失和梯度。梯度汇总和参数更新：将各个GPU上的梯度汇总，并使用汇总的梯度更新模型参数。
突破硬件壁垒：AMD GPU上的扩散模型训练实战指南
gitblog_00063的博客
06-11 806
当AI绘画训练需求遇上硬件预算限制，传统NVIDIA生态是否已成为唯一选择？kohya_ss项目正在打破这一技术垄断，为AMD GPU用户提供了完整的扩散模型训练解决方案。通过ROCm技术栈的深度整合，这个基于Gradio的图形化界面让AI模型微调变得前所未有的简单，无论是LoRA训练、DreamBooth定制还是SDXL模型优化，现在都可以在更经济的AMD硬件上实现。 ## 技术瓶颈与应对：A
AMD ROCm终极配置指南：如何让AI框架完美识别你的AMD GPU
gitblog_00261的博客
06-15 1083
想要在AMD GPU上运行AI框架却总是遇到"RuntimeError: No HIP GPUs are available"的错误？别担心，这篇完整的配置指南将彻底解决GPU识别问题，让你充分发挥AMD硬件的计算潜力。本文将详细介绍ROCm环境配置、多GPU拓扑优化、性能调优策略，帮助你从零开始搭建稳定的AI开发环境。 ## 问题根源：为什么AI框架无法识别AMD GPU？ 当你尝试在AMD
在Windows平台上使用AMD显卡加速PyTorch训练
AvGroovy的博客
10-10 1万+
接下来，我们设置了必要的环境变量。最后，我们编写了一个简单的PyTorch代码示例，并在其中使用了AMD显卡进行加速。ROCm是一个开源的GPU计算平台，支持AMD显卡在深度学习任务中的加速。但是，按照本文提供的指导，你应该能够在Windows平台上成功地使用AMD显卡加速PyTorch训练。首先，确保你的计算机上已经安装了最新的AMD显卡驱动程序。在使用AMD显卡加速PyTorch之前，我们需要安装PyTorch和相关的AMD显卡支持库。现在，我们可以编写PyTorch代码，并利用AMD显卡进行加速了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值