机器学习系统与优化 教案 案例22-第五章 分布式训练中的容错机制设计（Checkpoint Recovery）.docx

案例22——分布式训练中的容错机制设计（CheckpointRecovery）

在大规模分布式训练中，硬件故障（如GPU宕机、网络中断）是常态而非例外。一次训练任务可能持续数天，若无容错机制，单点故障将导致全部工作丢失。检查点（Checkpointing）与故障恢复（Recovery）是保障训练任务鲁棒性的关键技术。本案例以训练一个百亿参数的视觉Transformer（ViT-G）为例，展示分布式容错系统的实现。

1.容错架构

主控节点（Master）：监控所有Worker状态。

共享存储（如HDFS或云存储）：用于保存模型检查点。

心跳机制：Worker定期向Master发送心跳信号