分布式计算引擎的集群管理及负载均衡策略研究-计算机系统结构专业论文.docx

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 日期： 年 月 日 论 文 使 用 授 权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 万方数据 万方数据 摘要 摘 要 当今，随着信息化步伐的加速，网络数据量爆发式增长，如何高效处理海量 数据业务成为一个研究热点。分布式计算的思想以及相关研究成果给出了一个比 较明确的研究方向。 本文通过对分布式计算技术的分析研究，结合当前一些分布式计算相关产品 的设计思想和实际项目需求，为电信领域的海量数据处理设计出一套全新的解决 方案，实现了一个分布式计算引擎 DVCP(Distributed Virtual Computing Platform)， 即分布式虚拟化计算平台。利用分布式计算技术将复杂的数据业务进行分割、分 散到多台服务器中，在较低廉的系统资源部署情况下完成大量数据业务的处理。 论文的主要研究工作包括以下几点： 1、DVCP 系统设计，利用分布式计算思想，将复杂的任务分割成多个较为简 单且清晰的步骤，由各服务器分别完成。实现系统的基本数据业务功能，包括原 始数据采集、数据汇总、数据查询、数据备份。同时，对系统任务控制调度中心 服务器 Master 的模块设计进行了详细分析。 2、为实现系统高可靠性和可扩展性，设计并实现了一整套系统集群管理技术， 包括集群节点状态的统一管理、各节点的故障恢复以及双机热备。为实现系统各 功能，还专门设计了一套高效、可靠的网络通信机制。 3、实现了 DVCP 系统所特有的负载均衡机制。各计算节点主动申请任务并实 现自身的负载均衡，中心控制节点 Master 只负责负载数据收发与计算，不做负载 均衡决策。不但很好地实现了项目对负载均衡的需求，而且降低了系统实现复杂 度以及 Master 的压力，提高了系统的可靠性。 通过测试，系统管理员可以通过管理界面对集群节点状态进行主动控制，并 能根据系统总体负载情况动态增加或减少计算节点，使系统负载平均化，资源得 到高效利用。Master 带任务的双机热备保证了系统的可靠性要求，使系统在 Master 主机出现故障后仍然能继续正常工作。 关键词：分布式计算，集群管理，双机热备，负载均衡 I ABSTRACT ABSTRACT Nowadays, with the fast development of informationization, the quantity of Internet data increase explosively. How to deal with massive data business efficiently has become a hot research issue. The theory of the Distributed Computing and its researches indicate a clear direction. In this thesis, by analysing and researching on distributed computing technology, combining with the design of current distributed computing products and the practical needs of the project, developers advance a new way to solve massive data processing for telecom sector, and implement a Distributed Virtual Computing Platform(DVCP). DVCP uses distributed computing technology for partitioning complex data business and distributes the partitions to multiple