《并行处理与体系结构1》.ppt

?1 计算技术的现状 一、并行技术的出现 机器规模 n—处理机个数 时钟速率 f 工作负载 W--程序中的计算操作数 顺序执行时间 T1 并行执行时间 Tn 速度 Pn=W/Tn 加速比 Sn=T1/Tn 效率 En=Sn/n 利用率 Un=Pn/n(Ppeak) 启动时间 t0 渐进带宽 r∞ 4.典型的多处理机 IBM POWER4 (MCM结构) IBM POWER4 (32CPU) ?3 多向量机和SIMD计算机 二、SIMD超级计算机 2.SIMD的实施模型 （1）分布式存储器模型(DSM) Doall 10 for 0≤i，j≤n-1 10 PE(i，j) sets C(i,j) to 0／Initialization／ Do 50 for 0≤k≤n-1 Doall 20 for 0≤i≤n-1 20 PE(i，k) broadcast A(i，k) along its row bus Doall 30 for 0≤j≤n-1 30 PE(k，j) broadcast B(k，j) along its column bus ／PE(i，j) now has A(i，k) and B(k，j)，0≤i，j≤n/ Doall 40 for 0≤i，j≤n-1 ?5 可扩展的范围和设计 串行代码段 for ( i = 0; i N; i ++ ) A[i] = b[i] * b[i+1]; for(i=0;iN;i++) c[i]=A[i]+A[i+1]; id = my_process_id(); p = number_of_processes(); for(i=id;iN;i=i+p) A[i]=b[i]*b[i+1]; barrier(); for(i=id;iN;i=i+p) c[i]=A[i] +A[i+1]; for ( i = 0; i N; i ++ ) A[i] = b[i] * b[i+1]; for(i=0;iN;i++) c[i]=A[i]+A[i+1]; # pragma parallel #pragma shared ( A,b,c) #pragma local ( i ) { #pragma pfor iterate (i=0; N；1) for(i=0;iN;i++) A[i] = b[i] * b[i+1]; #pragma synchronize #pragma pfor iterate (i=0; N；1) for(i=0;iN;i++) c[i]=A[i]+A[i+1];} ?2 进程、任务和线程 ?3 并行性问题 3.动态并行性的操作： fork/join(派生和汇合） fork/join操作加以表示。它们也可用单代码或多代码方法加以说明。 ?4 通信问题 lock(counterlock)；／*上锁确定原子性*／ if(count= =0) release=0；／*第一个进程设置release *／ count=count+1； ／*进程计数*／ unclock(counterlock)； ／*开锁*／ if(count= =total)；{ Count=0；／*重置计数器*／ Release=1；／*释放进程*／ } Else{ ／*还有别的进程未到*／ spin(release=1); ／*等待其他进程到达*／ } while(S)；／*这三行执行lock(S)操作*／ Test＆Set(S，temp)； while(temp)Test＆Set(S，temp)； . . ／*临界区*／ . S=False； ／* unlock(S)*／ Sum=a[i]；//每个进程有一局部变量Sum For（j=1；jn；j=j*2) { //log(n)个超步 if(i％j=0) { Get Sum Of process P(i+j) into a local variable tmp； (*将进程P(i+j)的和放到局部变量tmp中*) Sum=Sum+tmp； } } 四、通信方式（即交互方式） ?2 性能和成本 ?4 并行计算机性能 负载不平衡开销—计算部分； 并行性开销； 通信（交互）开销(包括同步、通信和聚集) T=Tcomp+T