云计算与大数据技术王鹏黄焱安俊秀张逸琴第4章-集群系统基础上课用课件.ppt

云计算与大数据技术 目 录 第1章　 云计算与大数据基础 第2章　 云计算与大数据的相关技术 第3章　 虚拟化技术 第4章　 集群系统基础 第5章　 MPI—面向计算 第6章　 Hadoop—分布式大数据系统 第7章　 HPCC—面向数据的高性能计算集群系统 第8章　 Storm—基于拓扑的流数据实时计算系统 第9章　 服务器与数据中心 第10章 云计算大数据仿真技术 第4章　集群系统基础 《云计算与大数据技术》 第4章　集群系统基础 4.1　集群系统的基本概念 4.2　集群系统系统的分类 4.3　单一系统映射 4.4　Beowulf集群 4.5　集群文件系统 4.5.1　集群文件系统概念 4.5.2　典型的集群文件系统Lustre 4.6　分布式系统中计算和数据的协作机制 4.6.1　基于计算切分的分布式计算 4.6.2　基于计算和数据切分的混合型分布式计算技术—网格计算 4.6.3　基于数据切分的分布式计算技术 4.6.4　三种分布式系统的分析对比 第4章　集群系统基础 当前云计算技术领域存在两个主要技术路线，一个是基于集群技术的云计算资源整合技术，另一个是基于虚拟机技术的云计算资源切分技术。 基于集群技术的云计算资源整合技术路线将分散的计算和存储资源整合输出，主要依托的技术为分布式计算技术。集群技术从传统的高性能计算逐步走向云计算和大数据领域，集群架构是当前高性能计算的主流架构，然而无独有偶，集群架构也是大数据领域技术的主流架构，大数据可以认为是面向计算的高性能计算技术，集群技术是大数据系统的重要技术。 Google、Hadoop、Storm、HPCC等系统都采用了集群技术，其资源整合是跨物理节点的。 学习集群技术的基本知识对理解云计算大数据技术有很好的作用。 4.1　集群系统的基本概念 并行计算发展到现在的集群架构成为了主流，首先提出云计算概念的Google公司其系统的总体结构就是基于集群的，Google公司的搜索引擎同样就是利用上百万的服务器集群构成的，这些服务器通过软件结合在一起，共同为遍布于全世界的用户提供服务。 从云计算的角度看Google公司的系统整合了上百万的服务器计算和存储资源通过网络通道将自己的搜索服务提供给用户。利用集群构建云计算系统为云计算资源池的整合提供了最大的想象力，资源池的大小没有任何原则上的限制。 4.1　集群系统的基本概念 集群系统是一组独立的计算机（节点）的集合体，节点间通过高性能的互联网络连接，各节点除了作为一个单一的计算资源供交互式用户使用外，还可以协同工作，并表示为一个单一的、集中地计算资源，供并行计算任务使用。集群系统是一种造价低廉、易于构建并且具有较好可扩放性的体系结构。 4.1　集群系统的基本概念 近年来集群系统之所以发展如此迅速，主要是因为： 作为集群节点的工作站系统的处理性能越来越强大，更快的处理器和更高效的多CPU机器将大量进入市场； 随着局域网上新的网络技术和新的通信协议的引入，集群节点间的通信能获得更高的带宽和较小的延迟； 集群系统比传统的并行计算机更易于融合到已有的网络系统中去； 集群系统上的开发工具更成熟，而传统的并行计算机上缺乏一个统一的标准； 集群系统价格便宜并且易于构建； 集群系统的可扩放性良好，节点的性能也很容易通过增加内存或改善处理器性能获得提高。 4.1　集群系统的基本概念 集群系统具有以下重要特征： 集群系统的各节点都是一个完整的系统，节点可以是工作站，也可以是PC或SMP器； 互联网络通常使用商品化网络，如以太网、FDDI、光纤通道和ATM开关等，部分商用集群系统也采用专用网络互联； 网络接口与节点的I/O总线松耦合相连； 各节点有一个本地磁盘； 各节点有自己的完整的操作系统， 4.1　集群系统的基本概念 集群系统作为一种可扩放并行计算体系，与SMP、MPP体系具有一定的重叠性，三者之间的界限是比较模糊的，有些MPP系统如IBM SP2，采用了集群技术，因此也可以把它划归为集群系统。 在表4.1中给出了这三种体系特性的比较，其中DSM表示分布式共享内存。 4.1　集群系统的基本概念 4.1　集群系统的基本概念 MPP通常是一种无共享(Shared-Nothing)的体系结构，节点可以有多种硬件构成方式，不过大多数只有主存和处理器。 SMP可以认为是一种完全共享(Shared-Everything)的体系结构，所有的处理器共享所有可用的全局资源(总线、内存和I/O等)。 对于集群来说，集群的节点复杂度通常比MPP高，因为各集群节点都有自己的本地磁盘和完整的操作系统； MPP的节点通常没有磁盘，并且可以只是使用一个微内核，而不是一个完整的操作系统； SMP服务器则比一个集群节点要复杂，因为它有更多的外设终端，如终端、打印