Linux集群技术的应用的研究.docVIP

Linux集群技术的应用的研究 　　[摘要]Linux操作系统的应用日趋成熟,Linux在很多计算机领域都占有一定的市场份额。基于Linux构建Web、Mail、FTP等应用服务器,已成为当今的主流。这也为Linux集群的发展创造了良好的平台。Linux集群开始是用于大学和研究部门中的计算系统,现在已经被大量用于天气预报、图象处理、数据挖掘、生物制药和基因测序软件开发等领域。由于集群具有高可扩展性、高性价比、高可用性、高性能等特性,这为Linux集群技术的发展奠定了良好的基础。 　　[关键词]Linux集群技术系统分析 　　中图分类号:TP3文献标识码:A文章编号:1671-7597(2009)1210101-01 　　 　　一、引言 　　 　　随着网络技术的发展和网络应用在各个领域的深入使用,带来了服务器需求的迅速增长,当访问需求增长时,服务器会在很短的时间内超载,独立且能满足数据吞吐的服务器价格昂贵,而Linux集群技术在满足要求的基础上费用低廉。目前,越来越多的企业采用Linux操作系统,提供Web、邮件、FTP、数据库等服务。随着人们对Linux服务器依赖的加深,对其可靠性、负载能力和数据能力也备加关注。Linux可以运行于极为普及的PC机上,不需要购买昂贵的搭载UNIX操作系统硬件设备。在几台运行Linux的PC机上,只要加入相应的集群软件,就可以组成具有很 　　强计算能力、负载能力和可靠性的Linux集群。 　　 　　二、集群定义分类及应用 　　 　　(一)集群的定义。集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。传统的UNIX的集群产品,例如TruClusterServer,价格十分昂贵,而Linux集群产品则具有优良的性能价格比。 　　(二)Linux集群的分类及应用。按照不同的侧重点,可以把Linux集群分为三类。一类是高性能计算集群:主要针对的是大规模数值计算,解决复杂的科学问题。这种集群中的服务器采用并行计算方法,把独立海量的计算任务分解成各个子任务,然后分配给各节点并行计算,并通过标准化的消息传递接口(PVM或MPI)实现各计算节点的同步和数据的汇集。随着社会进步与科学技术的发展,并行计算越来越多地应用于各行各业,如计算数学、环境科学、航空航天、石油地震勘探、天气预报、生物制药、人工智能、DNA模型计算等领域。第二类是高可伸缩性负载均衡集群:目的是提供与节点个数成正比的负载能力,将系统的整体负载合理地分配到各个服务器节点上,使得每个节点都不会因为超负荷工作而崩溃;并且当对系统整体负载需求大于系统整体负载能力时,可以通过增加服务器节点,平滑地拓展系统负荷能力。这种集群非常适合提供大访问量的网络服务。如网上营业系统、网银、网游服务器、VOD点播系统、图形对象发布、气象信息检索服务、互联网门户网站等领域。目前,世界最著名的Google搜索引擎就是由近2万台后台服务器构成,并通过基于Linux的高可伸缩性负载均衡集群技术来实现的。第三类是高可用性集群:设计目的就是要最大限度地减少服务中断时间。高可用性集群的主要功能就是提供7×24小时不间断服务。有许多应用程序都必须一天24小时不停运转,如数据交换机、军事监测系统、工业控制系统、电信业务支持系统等。对这些应用程序来说,暂时的停机和重启都会导致数据的丢失或灾难性的后果。高可用性集群通常是由多个节点构成,当单个节点出现故障时,系统其他节点接替服务,整个系统仍能继续正常对外提供服务。 　　 　　三、Linux集群要解决的技术关键 　　 　　(一)如何解决大规模集群系统的可扩展性和性能衰减的问题。集群的体系结构存在一些问题,如系统中有许多操作系统映像,单一系统映像能力差;当系统较大时,可扩展性和可靠性较差,并且系统性能衰减较快。 　　(二)并行调度的任务粒度划分问题。为了最大限度发挥集群计算的并行度,我们往往把减小系统通信延时作为任务划分的依据,即将一些任务划分到一个节点上串行执行,使得通信延时的减小效果超过串行执行对性能的影响。 　　(三)集群内部节点之间的通讯延时问题。节点之间使用一些专用的或者通用的互联网络协议进行连接。它避免了共享内存所出现的资源竞争,有助于提高节点利用率。通用的互联网络协议有:千兆以太网、Myrinet等。专用的协议有TCP/IP协议的精简协议,如ActiveMe-ssage、 　　FastMessage、VIA(Virtual Interface Architecture)等。一般对不同的情况采用不同的专用网络协议减少通信延时。 　　(四)调度器的负载均衡技术的问题。IP负载均衡技术:当客户请求到达时,调度器只根据服务器负载情况和设定的调度算法从服务器池中选出一个服务