基于Linux与并行计算.pptVIP

Linux与并行计算 曙光信息产业（北京）有限公司 技术支持中心 戴荣 2007年12月 主要内容 并行计算简介 Linux与HPC 搭建Linux Cluster 小结 并行计算--高性能计算 并行计算(Parallel Computing） 高性能计算(High Performance Computing) 并行计算，就是在并行机上所做的计算 理论、实验与计算，被认为是人类认识自然的三大支柱。 降低单个问题求解的时间 提高问题求解精度 增加问题求解规模 无法替代的模拟计算 为什么要做并行计算？ －－应用需求 并行计算机 并行计算机就是由多个处理单元组成的计算机系统，这些处理单元相互通信和协作以快速、高效求解大型复杂问题。 并行计算机的发展 (1)并行机的萌芽阶段（1964-1975） (2)向量机/ SMP的发展和鼎盛阶段(1976-1990) (3)MPP出现和蓬勃发展阶段（1990-1995） (4)Cluster出现，并成为并行计算机的主流（1995年后） 并行计算机结构模型 各种架构对比 共享存储体系结构 SMP瓶颈在访存带宽，限制了可扩展性（性能会严重下降），通过增大Cache来缓解，又有数据一致性的问题。 DSM具有较好的可扩展性，且具有与SMP相同的编程模式。共享存储的机器可以运行各种编程模式的程序，包括串行程序、共享存储并行程序和消息传递并行程序。 共享存储的机器首先可以看作是一个内存扩充了的串行机器，可以运行数据量极大的串行程序，如大数据量的数据库应用。利用多个处理器的并行处理性能，自动并行（靠编译器）作用有限，需要其他编程方式的应用，如OpenMP。 各种架构对比（续） 分布式存储体系结构 无共享的机器，MPP和Cluster，具有最好的可扩展性，采用消息传递编程，可编程性不如OpenMP，也可以通过DSM软件的方式来模拟实现共享存储（其实还是通过消息传递，只不过对上层通明），性能受到影响，但可以运行OpenMP应用程序。 MPP/PVP在构造大规模系统，应用饱和性能方面具有优势，资金充足的依然会选择； Cluster由于无可比拟的性价比优势占据主流位置。 更高的计算能力 系统的高可用性 良好的可扩展性 更高的性价比 主要内容 并行计算简介 Linux与HPC 搭建Linux Cluster 小结 Linpack Linpack是国际上流行的用于测试高性能计算机系统浮点性能的benchmark 通过对高性能计算机求解线性代数方程组能力的测试，评价高性能计算机的浮点性能 HPL(High Performance Linpack) 针对大规模的并行计算机系统的测试 HPL版Linpack一般用于并行超级计算机 用户可以选择矩阵的大小(问题规模)、使用各种优化方法来执行测试程序，寻求最佳的测试结果 计算量(2/3 * N^3 – 2*N^2) / 计算时间 /benchmark/hpl/ 主要内容 并行计算简介 Linux与HPC 搭建Linux Cluster 小结 集群系统体系结构 采用Linux来搭建集群系统 基本流程 对头结点/管理结点 操作系统安装 集群服务配置 对每个计算结点 操作系统安装 集群服务配置 集群系统联调 Linux的七种武器 Linux的七种武器（RedHat） dd：操作系统克隆 rsh：远程登录、执行 mpich：并行编程和运行环境 nfs：网络共享文件系统 ntp：集群时间同步 nis：集群帐号同步 openpbs：作业调度系统 七种武器之一：dd 操作系统克隆 echo scsi add-single-device 0 0 1 0 /proc/scsi/scsi Host: scsi0 Channel: 00 Id: 01 Lun: 00 dd if=/dev/sda of=/dev/sdb bs=4096 if：系统源盘 of：系统镜像盘 bs：块大小 73GB SCSI硬盘 17分钟 要求源盘与镜像盘型号完全一致 七种武器之二：rsh 远程登录、执行 实现节点之间的无密码切换 打开服务rsh、rexec、rlogin chkconfig rsh on chkconfig rexec on chkconfig rlogin on /etc/init.d/xinetd restart 将所有节点名加入/etc/hosts.equiv 对于root用户 echo rsh /etc/securetty echo rexec /etc/securetty echo rlogin /etc/securetty cp /etc/hosts.equiv /root/.rhosts ssh：更安全的remote