分布式高可靠性海量数据处理系统中控节点设计与实现-计算机技术专业论文.docx

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 万方数据 万方数据 摘 要 摘 要 随着电信业务向社会民生领域纵深方向推进，传统业务规模不断扩大，新兴 业务不断兴起，电信服务提供商面临着巨大的数据压力，主要包括：如何快速而 及时的对大规模电信数据进行采集；在多任务的环境下对数据进行实时的分析和 汇总；多用户环境下对大规模电信结构化数据进行快速的查询；如何保证电信数 据的安全性等。这些问题都是目前电信集中式服务器所不能解决的。为此，设计 了分布式海量数据处理系统（ Distributed Mass Data Processing System , 简称 DMDPS），利用分布式计算的技术，解决电信服务提供商面临的问题。 本文主要针对 DMDPS 分布式架构中的中心控制节点的设计与实现作了详细 阐述，并针对新环境下现有的负载均衡策略存在的问题提出了有效解决方案。主 要工作如下：（1）在独立实现的 MapReduce 计算框架中，实现了对大任务与子任 务的调度架构，利用双层调度机制，对两者进行管理并高效的推进两者状态机的 执行；（2）通过对整个系统的有效调度，完成了数据采集、数据分析与汇总、数 据实时查询和容灾与恢复等业务流程，利用二叉树动态归并算法实现了对海量结 构化数据的实时查询；（3）采用任务在主备机间实时同步机制，实现了中控节点 的高可靠性与高可用性。同时，在任务调度与负载均衡方面，针对系统实际部署 运行环境的问题，提出了两个新的算法：（1）由于系统引进了虚拟化技术，针对 异构环境下的慢任务调度抖动的问题，以相对能力度量值为基础提出了一种动态 的预判算法；（2）针对计算节点与数据库集群的映射关系，通过简单的等待策略， 减少了任务与数据间的相对距离，提高了系统的吞吐率。 针对上述中控节点的设计与实现，做了严格的功能测试与性能测试。通过功 能测试，验证了系统数据采集、数据分析与汇总、数据实时查询与数据容灾等基 本功能的正确实现；通过性能测试，证明了本系统的算法在异构环境中能有效降 低慢任务在调度中的抖动次数,并提高系统的吞吐量,降低任务完成时间。 关键词：分布式，MapReduce，虚拟化，任务调度，负载均衡 I ABSTRACT ABSTRACT With the furtherance of telecoms business in the livelihood of the people domain, the scale of traditional business and emerging business are continually expanding, telecoms provider is under huge pressure, primarily including: Mass telecoms raw data real-time acquisition; data analysis and summary in the Multi-Task Context;real time mass telecoms structured data query in a multiuser environment;how to keep data secure.All of these problems can not be solved by centralized server.As a consequence,the Distributed Mass Data Processing System was designed to meet the needs of telecoms provider by using distributed technologies. The thesis elaborates the design and implementation of centra