04 集群通信工程问题排查与规避

1. 集群通信经典故障排查表

故障现象	根因诊断	排查手段
分布式训练出现通信死锁 (HCCL Timeout)	某单卡因显存 ECC 错误异常退出，未响应集合通信同步	抓取主控节点与所有 Worker 节点的日志，定位首个报错 Rank
跨节点通信延迟随卡数激增	跨交换机流量引发网络微突发丢包（Micro-burst）与 PFC 风暴	在交换机上精细化配置 ECN 标记阈值与动态缓冲水线