并行计算基础知识.ppt

十年来CPU演变（3） 十年来体系结构的演变 机群：厂家面临的问题 怎样避免同质化？ 一样的CPU、一样的网络、一样的操作系统、几乎一样的机群系统 不一样的用户需求，一样的系统能最优满足？ SUMA标准 Scalability 可扩展性 Usability 易用性 Manageability 可管理性 Availability 高可用性 怎样避免同质化 应用分类 CPU密集、MEM密集、DISK密集、NIC密集 针对不同应用需求，提出不同的方案 可重构计算 Intel与AMD Opteron 与32位兼容的64位处理器 HyperTransport Xeon 主频持续上升 Itanium ？ 华大基因（北京） Draft Sequence of Rice Genome 曙光百万亿数据处理超级服务器 4000L主要指标 40个机柜组成 644个CPU 每秒3万亿次浮点计算峰值速度 644GB内存 百万亿字节（100TB）存储 最大可“在线”扩展到80个机柜 1300个CPU 每秒6.75万亿次峰值速度 4000G内存 600T存储 1200A最大电流，160千瓦最大功耗的海量处理系统 初步的面向网格的特点 Grid Terminal智能控制台能够实现庞大系统的安全管理 GridView网格监控中心软件则提供了逻辑视角、视角的可伸缩性、历史记录分析三项特色，被称为系统的“千里眼”。 中国近期的一些新闻 曙光“红色网格”孕育10万亿次超级计算机 中科院网络信息中心委托联想研制高性能计算机系统 高性能计算的“超级”对抗 浪潮高性能计算 生命科学领域显奇功 高性能计算：处于什么样的阶段？ HPC：处于什么样的阶段 机群高性能计算系统已经成熟，步入量产阶段 国内曙光、联想、浪潮，还有大量小公司 高性能计算应用的快速扩展阶段 从去年开始，机群销量猛增，应用在科学计算和信息服务等所有领域 高性能计算教育相对滞后、人才相对稀缺阶段 北大、清华、科大等有限几所高校设置相应专业课程 并行计算基本概念 并行算法的定义与分类 并行算法的复杂性 数据相关性与可并行化 并行计算模型 并行算法的定义与分类 算法是解题的精确描述， 是一组有穷的规则，它规定了解决某一特定类型问题的一系列运算。并行计算时可同时求解的诸进程的集合，这些进程相互作用和协调动作，并最终获得问题的求解 并行算法就是对并行计算过程的精确描述 并行算法可以从不同的角度分类为 数值计算并行算法和非数值计算并行算法 同步并行算法和异步并行算法 共享存储并行算法和分布存储并行算法 数值算法与非数值算法 数值计算是指基于代数关系运算的计算问题， 如矩阵运算、多项式求值、线性代数方程组求解等。求解数值计算问题的算法称为数值算法（Numerical Algorithm）。 科学与工程中的计算问题如计算力学、计算物理、计算化学等一般是数值计算问题。 非数值计算是指基于比较关系运算 诸如排序、选择、搜索、匹配等符号处理，相应的算法也称为非数值算法（Non-numerical Algorithm）。 非数值计算在符号类信息处理中获得广泛应用，如数据库领域的计算问题、海量数据挖掘等， 近年来广泛关注的生物信息学主要也是非数值计算 并行算法的复杂性 上界 f(n)=cg(n)，则称g(n)是f(n)的一个上界，记做f(n)=O(g(n)) 下界 f(n)=cg(n)，则称g(n)是f(n)的一个下界，记做f(n)=Ω(g(n)) 紧致界 c1g(n)=f(n)=c2g(n)，则称g(n)是f(n)的一个紧致界，记做f(n)=Θ(g(n))。 描述并行算法 如果要求输入输出N个数据，则认为该算法的I/O时间界为O(N) 如果问题规模为n，涉及的计算量一般为t(n)，则该算法的计算CPU时间界为O(t(n) 对要求通信和同步的次数为L、通信量为M个数据，则该算法的并行开销为O(L+M) 问题规模 问题规模有可分为 输入输出规模、计算规模、内存需求、通信（同步）规模， 分别表示问题求解所需要的I/O量、计算量、内存大小和通信量（包括通信次数与通信数据量）。 根据消耗资源程度，又相应分为 CPU密集应用、memory密集应用、disk密集应用和网络密集应用。 不同类型的问题，性能瓶颈也往往不同。并行算法就是要又针对性的消除相应的瓶颈，从而达到缩短计算时间的目的。 相关性与可并行化 伯恩斯坦准则 I1∩O2＝Φ，即P1的输入变量集与P2的输出变量集不相交； I2∩O1＝Φ，即P2的输入变量集与P1的输出变量集不相交； O1∩O2＝Φ，即P1和P2的输出变量集不相交 可并行处理 数据相关 P1： A＝B+C P2： D＝A×B 其中，变量A是导致P1和P2发生数据相关的原因。为了保证程序执行的语义