并行计算第0章-引言教案详解.pptVIP

引言-单机体系结构与并行计算环境的相关性发展 单机体系结构 单机：? 微型/小型/中型/大型/巨型计算机； ?紧密耦合多处理机 特点：?运算器—单/多CPU ; ?控制器—集中式； ?存储器—全局分时共享； ? I/O系统—总线互联 问题: ?运算器为中心; ?程序和数据同等对待 解决: ?软硬件功能分配； ?好的性能价格比 引言-单机体系结构与并行计算环境的相关性发展  网络计算环境 网络计算： ? 多个计算机用户共享网络计算资源协同工作； ? 单个计算机用户使用网络计算资源独立工作 特点： ?“运算器”—多计算机系统; ?“控制器”—分布式； ?“存储器”—物理分布、逻辑共享； ? “I/O系统”—网“线” 互联 问题： ?互联互通; ?资源共享； ?系统安全 引言-单机体系结构与并行计算环境的相关性发展  整体结构相关性-1 ? 运算器→双CPU→多计算机系统 ? 控制器→DMA,IOP→服务器+网管软硬件 ? 存储器→SM,DM→DSM,NAS,SAN ,DAS ? I/O系统→IO通道及设备分时共享→网络共享 引言-单机体系结构与并行计算环境的相关性发展  整体结构相关性-2（云） 运算器 控制器 存储器 I/O系统 传统体系结构 并行计算体系结构 集群 服务器 DM/DSM/NAS/SAN GateWay/Bridge/Router 引言-单机体系结构与并行计算环境的相关性发展 算法 传统算法 顺序存储 顺序执行 并行算法 任务分解 并行执行 精确求解，正确求解 加速比，效率，可扩放性 引言-单机体系结构与并行计算环境的相关性发展  编程方法 传统编程方法 高级语言及应用语言程序设计 算法实现 并行编程方法 网络程序设计 判断程序并行化 借用法 重新设计 WWW-What? Why? How？-1 什么是并行计算?（What is Parallel Computing) 并行计算就是在并行计算机或分布式计算机等高性能计算机系统上所做的超级计算。包括：体系结构、算法和编程 为什么要学习并行计算? (Why do we study P.C.) 加快计算速度，缩短运行时间 提高计算精度 增强模型计算问题（非数值计算问题） WWH-What? Why? How？-2 如何学习并行计算? (How to study P.C.) 算法与体系结构相结合 算法与编程相结合 算法与应用相结合 算法与技术相结合 课程内容 层次 以算法为核心，涉及算法理论实现技术 并行计算相关问题 砌墙问题 问题描述： 解决方法 区域的划分 域的规模 与问题相关的处理器（施工设备） 在不规则区域所遇到的问题 在异构域所遇到的问题 本地及全局并行性有关的加速问题 并行输入输出 问题的分解 粒度 处理机的分配与调度 特殊问题求解 异构资源共享 算法优化问题 数据I/O问题 求解方法-区域划分问题为例-1 纵向划分 假设用8人，即处理器数N=8 问题分为8部分（8段）每段长为l 设工人工作速度相同 期望得到加速比为s，s≈N 理想效率： ε=S/N≈1（100%） 实际效率 考虑到交叉等待时间l overlap ε实际 = 1- 其中 c 是一个取决于交叉问题实际情况的常数； l是交叉长度。 求解方法-区域划分问题为例-2 水平划分 如果允许每人差一块砖开始工作，那么当第一人砌完第7块砖开始砌第8块砖时，第8人开始并行工作 loverlap较小 前期等待时间长 当l相对较长时，ε较好 投入人数受墙高限制（即层数限制）即并行度小。 可见效率和并行度仍是一对矛盾！！ 求解方法-区域划分问题为例-3 参考资料 教学大纲 见附件 教材 《并行计算 结构 算法 编程》 中国科大 . 陈国良编著. 高教出版社出版. 教学 教学方式： 课堂教学 考试：开卷