并行程序的设计Chapter4.pptVIP

第四章 并行抽象 刘 轶 北京航空航天大学 计算机学院 4.1 并行编程基本知识 4.1 并行编程基本知识 一、数据和任务并行 并行计算的两种类型 数据并行(data parallel) 同时对不同数据项进行相同操作的并行 并行量随数据规模而增长 ? 并行性可扩展 例：矩阵乘法 任务并行(task parallel) 同时完成不同计算或任务的并行 任务数固定 ? 并行性不可扩展 例：网络服务 很多计算是混合型的，既有数据并行，又有任务并行 4.1 并行编程基本知识 二、Peril-L记号 一种用于描述并行算法的伪代码语言，在C语言基础上扩展而来 并行线程 通过forall语句引入多线程 forall (integer variable in (index range specification)) { body } 例：显示12行信息，每行信息的显示并行进行 forall ( index in ( 1..12 ) ) { printf( “Hello world from thread %i\n”, index ); } 运行结果？ 4.1 并行编程基本知识 同步和协同 用于线程之间的同步 两种同步机制：互斥和barrier 互斥块(exclusive block) 障栅(barrier) exclusive { body } 语义：保证每次只有一个线程执行body，如果一个线程正在执行body，其他线程只能等待 例： forall ( index in ( 1..12 ) ) { execlusive { printf( “Hello world from thread %i\n”, index ); } } barrier 语义：使线程停止直到所有线程到达barrier 例： forall ( index in ( 1..12 ) ) { printf( “tweedle dee\n” ); barrier; printf( “tweedle dum\n” ); } 4.1 并行编程基本知识 存储器模型 提供两个地址空间 全局地址空间：可被所有线程访问 局部地址空间：只能被一个线程访问 forall语句内定义的变量位于局部地址空间，之外定义的变量位于全局地址空间 假设全局变量访问时延λ，局部变量的访问可在单位时间内完成 Peril-L约定：全局地址空间中的变量加下划线 将数据从全局地址空间映射到局部地址空间：localize()函数 例： int data[n]; forall ( index in ( 0..n-1 ) ) { if ( data[index] 0 ) { data[index] = -data[index]; } } 4.1 并行编程基本知识 规约(reduce)和扫描(scan) 规约(reduce) 组合一组值而产生单个值 如对数的序列求和：规约求和 扫描(scan)： 并行前缀操作：对一个数的序列求另一个序列 例：+；*；；||；max和min 用 “/”表示规约操作，用“\”表示扫描操作 例：+ / count reduce操作，累加count中的所有元素 min \ items 扫描操作，寻找最小的items前缀 4.2 并行性的表示 4.2 并行性的表示 1. 并行性的三种表示之一：固定并行性(Fixed parallelism) 针对确定的处理器或计算部件个数，进行并行性划分 缺点：不能很好地适应问题规模和底层硬件的变化 固定并行性示例 统计数组中3的个数 (使用4个线程) int array[length], total; 全局数据 int seg = ceil( length / 4 ); forall ( j in ( 0..3 ) ) { int priv_count = 0; 局部累加和 int i, myBase = index * lengthPer; for ( i = u * seg; i min( length, j*(seg+1)); i++ ) {