并行计算集合通信 .pdfVIP

并行计算集合通信

集合通信(CollectiveCommunications)：分布式系统或并行计算中，用于在并发执行单元

（GPU）间进行数据传输与同步的操作。

1概念

1.1广播Broadcast散播Scatter

广播是一个1→N的操作，特征是将来源为1的数据完整复制到N.

散播是一个1→N的操作，特征是将来源为1的数据分片复制到N.

示意图如下：

1.3收集Gather全收集All-Gather

收集是一个N→1的操作，特征是将来源为N的数据复制整合起来，储存到1中。

全收集是一个N→N的操作，特征是将来源为N的数据复制整合起来，复制储存到

中。

示意图如下：

1.4归约Reduce全规约All-Reduce规约散播

Reduce-Scatter

规约是一个N→1的操作，特征是基于来源为N的数据计算得到结果，将结果单独储存

到1中。

全规约是一个N→N的操作，特征是基于来源为N的数据计算得到结果，将结果复制

储存到N中（在计算结果上等价于规约散播+全收集）

规