基于Linux的集群管理系统设计与实现.docVIP

基于Linux的集群管理系统设计与实现 ?? ? ?随着高速网络的不断发展, 网络用户及各种网络应用迅速增长, 使得网络服务器的负载能力渐渐成为高速网络中的瓶颈和薄弱环节. 单一服务器需要很高的硬件成本来满足如此高的负载要求, 甚至有时很难满足. 因此各种相对廉价且性能稳定的高可用性集群系统被更广泛地使用, 各种商业的、非商业的集群系统快速发展. 其中基于L inux 的LV S (L inux virtual server) 负载均衡集群系统由于其开放性、高可用性、高可伸展性等优点被普遍使用.但LV S 集群缺少一个全面的管理系统对集群进行监控与管理, 并保证系统的稳定运行. 当集群规模较大时, 无论对集群内单一节点还是对集群系统进行管理均很烦琐. 本文针对LV S 集群设计较完善的管理系统, 以便于扩大其集群规模, 提高LV S 集群的可用性及通用性; 并将系统rea lserver 集群上部分实现. 1　总体设计 本系统的设计参考了一些成熟的集群管理系统的设计思想, 在不对原LV S 集群系统进行改动的前提下进行. 采用模块化设计, 不同功能独立成模块, 各模块间互不影响, 单独与统一的管理界面进行信息交换, 便于修改与扩展.系统分为4 部分: 集群节点状态的监控、集群节点的快速安装与恢复、集群的动态调度、管理界面. 集群节点状态监控包括对集群内各节点软硬件的状态进行监测及根据设置的危险值报警; 节点的快速安装与恢复指对集群节点操作系统及软件的快速便捷的安装, 并在节点出现故障时可迅速恢复到初试状态, 这需要集群内各节点的硬件配置一致; 集群的动态调度要求在集群内节点数量增加或减少时能快速平滑地切换, 不影响集群的运行. 友好的管理界面是集群管理员与管理系统交互的通道, 并且系统各部分通过管理界面结合起来, 形成有机的整体. 整个系统的实现不是全部从零开始, 有很多OpenSou rce 的网络管理项目可供借鉴, 同时针对LV S 集群已经有一些功能比较简单的开源的管理软件也可以参照. 在对上述开放代码修改的基础上, 加入自主开发的代码, 形成完整的管理系统. 系统底层主要使用国际标准协议SNM P 简单网络管理协议对集群进行管理, 便于扩展. 2　各部分的具体设计 2. 1　集群节点的监控 监测的对象主要包括节点内存、CPU 使用情况、节点负载状况及服务进程运行状况. 当上述对象出现异常情况时系统要发出报警, 手工或者自动排除故障.监控部分以开源项目MRTG (mu lt i2rou tert raff ic grapher) 和MON 为基础进行改进. MRTG 是网络流量监控工具, 也可以对CPU、内存、I?O 等硬件及特定服务的流量情况进行监测,并将监测的结果用图形形式通过W EB 方式显示出来. MRTG 通过SNM P 协议对网络设备进行监测, 且MRTG 提供了接口, 可以用第三方工具绘制各种显示图形. 本系统采用RRDToo ls 绘制系统管理界面所要的图形.MON 是服务可用性的监视工具, 可以在服务失效时发出警报. MON 的监测过程可分外独立的两部分: 监测条件, 条件失败时触发的动作.MON 以监视器(mon ito r) 的形式对被监测的进程或者设备进行监视, 一旦监视器失效就触发相应的告警程序(alert) ; 告警程序可以根据设置自动进行简单处理并通过ma il 等手段通知管理员. 两部分可以独立设置, 非常灵活.MON 负责对节点服务的可用性进行监视,在出现异常时发出报警并做出相应处理, 而MRTG 负责系统的采集并显示节点的运行状况,为分析集群性能、判断故障原因提供直观详实的数据. 2. 2　集群节点的快速安装与恢复 随着集群内节点数量的增加, 节点操作系统及软件的安装将成为一项很烦琐的工作. 由于负载均衡且集群内各节点实现功能相同, 所安装的操作系统及软件也都相同, 在硬件配置相同的前提下完全可以采用软件自动快速安装. 同时也可以用此方法对故障节点进行快速恢复.系统采用In tel 定义的PXE (p reboo texecu t ion environmen t) 远程启动标准和System Imager 系统镜像工具. PXE 是RPL ( remo te p rogram load) 的换代技术, 可以远程引导W indow s 系列、L inux 等多种操作系统. System Imager 镜像工具可以将样本机器的系统镜像下来, 由镜像服务器通过网络将与样本机器完全一致的软件系统安装到其他机器上, 并且可以对客户机的IP、主机名等做简单配置. 镜像服务器同时也是PXE 服务器, 先安装好样本节点,然后在镜像服务器生成镜像, 集群内要安装系统的节点通过PXE 引导安装样本