并行计算基本概念.pptVIP

* 并行计算基础知识 */66 华大基因（北京） Draft Sequence of Rice Genome * 并行计算基础知识 */66 曙光百万亿数据处理超级服务器 * 并行计算基础知识 */66 4000L主要指标 40个机柜组成 644个CPU 每秒3万亿次浮点计算峰值速度 644GB内存 百万亿字节（100TB）存储 最大可“在线”扩展到80个机柜 1300个CPU 每秒6.75万亿次峰值速度 4000G内存 600T存储 1200A最大电流，160千瓦最大功耗的海量处理系统 * 并行计算基础知识 */66 初步的面向网格的特点 Grid Terminal智能控制台能够实现庞大系统的安全管理 GridView网格监控中心软件则提供了逻辑视角、视角的可伸缩性、历史记录分析三项特色，被称为系统的“千里眼”。 * 并行计算基础知识 */66 中国近期的一些新闻 曙光“红色网格”孕育10万亿次超级计算机 中科院网络信息中心委托联想研制高性能计算机系统 高性能计算的“超级”对抗 浪潮高性能计算 生命科学领域显奇功 高性能计算：处于什么样的阶段？ * 并行计算基础知识 */66 HPC：处于什么样的阶段 机群高性能计算系统已经成熟，步入量产阶段 国内曙光、联想、浪潮，还有大量小公司 高性能计算应用的快速扩展阶段 从去年开始，机群销量猛增，应用在科学计算和信息服务等所有领域 高性能计算教育相对滞后、人才相对稀缺阶段 北大、清华、科大等有限几所高校设置相应专业课程 * 并行计算基础知识 */66 并行计算基本概念 并行算法的定义与分类 并行算法的复杂性 数据相关性与可并行化 并行计算模型 * 并行计算基础知识 */66 并行算法的定义与分类 算法是解题的精确描述， 是一组有穷的规则，它规定了解决某一特定类型问题的一系列运算。并行计算时可同时求解的诸进程的集合，这些进程相互作用和协调动作，并最终获得问题的求解 并行算法就是对并行计算过程的精确描述 并行算法可以从不同的角度分类为 数值计算并行算法和非数值计算并行算法 同步并行算法和异步并行算法 共享存储并行算法和分布存储并行算法 * 并行计算基础知识 */66 数值算法与非数值算法 数值计算是指基于代数关系运算的计算问题， 如矩阵运算、多项式求值、线性代数方程组求解等。求解数值计算问题的算法称为数值算法（Numerical Algorithm）。 科学与工程中的计算问题如计算力学、计算物理、计算化学等一般是数值计算问题。 非数值计算是指基于比较关系运算 诸如排序、选择、搜索、匹配等符号处理，相应的算法也称为非数值算法（Non-numerical Algorithm）。 非数值计算在符号类信息处理中获得广泛应用，如数据库领域的计算问题、海量数据挖掘等， 近年来广泛关注的生物信息学主要也是非数值计算 * 并行计算基础知识 */66 并行算法的复杂性 上界 f(n)=cg(n)，则称g(n)是f(n)的一个上界，记做f(n)=O(g(n)) 下界 f(n)=cg(n)，则称g(n)是f(n)的一个下界，记做f(n)=Ω(g(n)) 紧致界 c1g(n)=f(n)=c2g(n)，则称g(n)是f(n)的一个紧致界，记做f(n)=Θ(g(n))。 * 并行计算基础知识 */66 描述并行算法 如果要求输入输出N个数据，则认为该算法的I/O时间界为O(N) 如果问题规模为n，涉及的计算量一般为t(n)，则该算法的计算CPU时间界为O(t(n) 对要求通信和同步的次数为L、通信量为M个数据，则该算法的并行开销为O(L+M) * 并行计算基础知识 */66 问题规模 问题规模有可分为 输入输出规模、计算规模、内存需求、通信（同步）规模， 分别表示问题求解所需要的I/O量、计算量、内存大小和通信量（包括通信次数与通信数据量）。 根据消耗资源程度，又相应分为 CPU密集应用、memory密集应用、disk密集应用和网络密集应用。 不同类型的问题，性能瓶颈也往往不同。并行算法就是要又针对性的消除相应的瓶颈，从而达到缩短计算时间的目的。 * 并行计算基础知识 */66 相关性与可并行化 伯恩斯坦准则 I1∩O2＝Φ，即P1的输入变量集与P2的输出变量集不相交； I2∩O1＝Φ，即P2的输入变量集与P1的输出变量集不相交； O1∩O2＝Φ，即P1和P2的输出变量集不相交 可并行处理 * 并行计算基础知识 */66 数据相关 P1： A＝B+C P2： D＝A×B 其中，变量A是导致P1和P2发生数据相关的原因。为了保证程序执行的语义正确性，变量A必须是先在P1中写入后方可从P2中读出，即必须先写后读。 显然，P1和P2不能并行执行。 * 并行计算基础知识 */66 数据反相关 P