并行算法及其应用.ppt

并行算法及其应用 计算机学院 卢光辉 Email:ghlu@uestc.edu.cn Tel主楼B1-702 教学安排：20学时 教材： 孙世新，卢光辉等，并行算法及其应用 参考书： 黄铠、徐志伟著，陆鑫达等译.可扩展并行计算技术、结构与编程.机器工业出版社，2000. 李晓梅、蒋增荣等著.并行算法,湖南科学技术出版社，1992. 陈国良.并行算法的设计与分析.高等教育出版社，2002.11. 序言 1.什么叫并行算法？ 一些可同时执行的诸进程的集合，这些进程相互作用和相互协调。 2.并行算法与串行算法的关系： 3. 并行与并发的关系：并行并发 并发是指两个或者多个事件在同一时间间隔内发生。在单处理机系统中，每一时刻仅能有一道程序执行，宏观上多道程序在同时运行，微观上这些程序是分时交替执行。 4. 并行与分布式的关系： 网络；并行更注重性能，而分布式更注重透明共享。 5.并行与网格计算（普适计算）的关系： 网格通过网络连接地理上分布的各类计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等，形成对用户相对透明的虚拟的高性能计算环境，让人们透明地使用这些资源和功能。它们与并行计算存在规模上的差异。 6 .并行与云计算的关系： 云计算以开放的标准和服务为基础，以互联网为中心，提供安全、快速、便捷的数据存储和网络计算服务，让互联网这片“云”上的各种计算机共同组成数个庞大的数据中心及计算中心。云计算把计算及存储以服务的形式提供给互联网用户，用户所使用的数据、服务器、应用软件、开发平台等资源都来自互联网上的虚拟化计算中心，该数据中心负责对分布在互联网上的各种资源进行分配、负载的均衡、软件的部署、安全的控制等。 8.国内外发展现状 （1）国内发展情况：2004年研制成功的曙光4000A的处理机总数为2560个，浮点运算峰值速度已达11264Gflops 。 “863”计划、“973”计划、国家自然科学基金都对并行计算十分重视。 （2）国外发展情况 2004.11. Rank 1: IBM 的BlueGene/L DD2 beta-System (0.7 GHz PowerPC 440)，32768个CPU，浮点运算峰值速度已达70720Gflops。 （2007年底，升级到106,496个CPU， 已达478.2 Tflops） 最新见附表（附表中计算速度单位为Gflops/s）。 全书共分为三个部分： 1.基础理论:主要介绍并行计算平台、并行算法概述、并行程序开发环境等； 2.基础应用：主要包含矩阵运算、快速傅立叶变换、卷积运算、数字滤波、离散余弦变换、哈达玛变换、2D离散小波变换、数字图像处理等方面的并行算法设计、分析与测试； 3.实际应用:主要介绍并行算法在电磁散射中的应用和无线电波参数联合估计中的应用。 第一章 并行计算平台 并行计算机分类 1. SISD,Single Instruction Stream Single Data Stream: 特征： 串行的和确定的。 指令系统: CISC, RISC 2. SIMD,Single Instruction Stream Multiple Data Stream: 特征： 同步的；确定的；适合于指令/操作级并行。 1)阵列处理机（资源重复）; 2)流水线处理机（时间重叠）. 3. MISD,Multiple Instruction Stream Single Data Stream : 4. MIMD,Multiple Instruction Stream Multiple Data Stream 共享存储MIMD，也称对称多处理机（SMP，Symmetry MultiProcessors） 适合于小粒度并行 分布式共享存储MIMD，也称为非一致内存访问（NUMA, Non-Uniform Memory Access） 适合于中小粒度并行 分布式存储MIMD 1). MPP (Massively Parallel Processing) ASCI Option Red、Inter Paragon、Meiko CS-2、nCUBE、CM-5、曙光1000、神州-Ⅱ巨型机 适合于中小粒度并行 2). Cluster 特点： 适合于粗粒度并行 附 多核处理器：SMP Intel的MMX、SSE：SIMD 电子科大IBM中心IBM EServer Z900:Cluster TI’