并行算法笔记.docVIP

注：部分笔记参照周湖广同志发上来的，有些看不清楚，请额外自己核对。 第一章 ★ 并行计算机互连网络 1、一维线性阵列（参照教材11页） 2、网孔连接（Mesh-Connected） 将n个处理器连接成×的二维网孔结构互连函数 ①正向行连接： 逆向行连接： ②正向列连接： 逆向列连接： 其中x mod y=x-y[]，只有y为负时，x mod y才为负。[x]表示取≤x的最大整数。如：[3.12]=3，[-3.12]=-4 例：16个处理器的mesh结构（p=0~15） 正向行： 0 1 2 … 14 15 逆向行： 正向列： 逆向列： 最后的互连结构： Mesh结构的通信直径（任意两个处理器之间至多需要的路由数）： Mesh特点：规整、扩展性比较好。不足：处理器之间互连是固定的，缺乏灵活性。 改进Mesh结构——可重构造的Mesh结构（Rmesh），动态构造处理器之间的互连方式。（教材311页） 3、树结构 将n个处理器连接成一个深度为的二叉树结构，互连函数： 参考教材13页 图1.10 四级二叉树 通信直径：，特点：树根易成为瓶颈，树结构适用于“淘汰”机制型应用问题的并行处理，主从型的应用。 变种—×树：同层的兄弟节点处理互连，降低通信直径，减少树根的处理器的负担。 4、树网结构 5、金字塔结构 6、超立方结构（Hypercube Connected） 将n个处理器连接成一个超立方结构，处理器编号用二进制表示，，互连函数： 例：n=16个处理器的超立方结构 超立方通信直径：，直接互连的两个处理器的编号二进制只有一位不同，路由寻优方式实现容易，扩展性相对较差。 改进型：光电传输结合，每个立方体内部的处理器采用电信号连接，不同立方体之间的处理器采用光信号连接。 7、立方环结构 8、洗牌交换网络SE 将n个处理器通过洗牌和交换实现数据在处理器之间的传输，互连函数： 例：n=8个处理器SE网络 图形参考教材17页图1.15 SE的性质： 对于网络处理器中的数据，连续执行m次洗牌操作，则数据返回原来位置。 若数据存储在一对二进制编号反在第0位不同处理器中，则经过k (1≤k≤m)次洗牌之后，这些数据将位于二进制编号仅在第m-k为不同的处理器中。 在这个网络上我们通过灵活洗牌和交换操作，即可设计高效算法。 9、蝶形网络 对于k×n的蝶形网络，为第r行第i列上的处理器，第k行等同于第0行，互连函数： 例：n=8,k=3的蝶形网络 处理器之间连接按2的幂次展开，通信直径。 10、其他互连结构—总线、交叉开关、多级网络 主要用于SMP（全对称多处理器）机器的互连≤64个处理器→SMP Cluster→用mesh互连多个SMP ★并行随即存储机器模型PRAM Parallel 也称为共享存储器的SIMD模型，SM—SIMP SM—Shared Memory 由硬件实现各个处理器并执行进程之间的同步，各个处理器通过读/写SM中存储单元实现数据通信。算法复杂度主要计算时间构成。 不允许同时读和同时写PRAM—EREW：不允许多个处理器同时读/写SM中同一个单元的内容 允许同时读但不允许同时写PRAM—CREW：允许多个处理器同时读入SM中同一单元的数据，但不允许并发写 允许多个处理器同时读/写SM中同一单元PRAM—CRCW： 只允许所有的处理器同时写相同的数CPRAM—CRCW 只允许最优先的处理器先写PPRAM—CRCW 允许任意处理器自由写PRAM—CRCW 在EREW模型下解决并发读冲突：通过自顶向下生成一棵逻辑二叉树的方法，用次并发读/写操作即可使n个处理器获得同一个数据。 解决写冲突：采取淘汰机制，由低向上生成一棵竞赛树的方法，决定出能成功写入数据的处理器，用次并行比较淘汰。 ★分布存储模型（教材28页） 1、固定连接的SIMD模型 算法运行时间=计算时间+数据（选路、路由）时间 2、MIMD—AC（MIMD并行通信模型） 软件同步：算法运行时间=计算时间+通信（选路、路由）时间 在证明模型上并行算法时，应尽量减少通信次数，每次通信的数据量…… 每个处理器都有其局存，各个处理器（进程）通过传递消息完成数据交换（通信） 3、BSP模型的基本参数 大同步并行（Bullk Synchronous Parallel）是MIMD—AC的变种 特点：①为了减少通信时间，每次传递的是“大量数据块” ②将若干个操作设计成一个超级步进级同步。 4、异步LogP模型 是MIMD—AC的变种，强调了点对点通信，当G=0，L=0，O=0时，LogP模型→PRAM模型 5、C3模型：是MIMD—AC的变种，C-计算，C-通信，C-拥塞→强调代价 ★并行计算系统的层次存储模型（将网络数据的发送/接收操作视为