AWS发布NVRx实现PyTorch分布式训练容错

发生了什么

据AWS ML Blog，NVIDIA Resiliency Extension (NVRx) 是用于Amazon EKS上PyTorch分布式训练的容错工具。它通过异步检查点（Async checkpointing）和进程内重启（In-process restart）解决大规模训练中因网络分区或硬件故障导致的GPU闲置问题。该方案无需修改模型代码，可显著减少同步检查点造成的空闲时间。