分布式虚拟化计算平台高可靠任务拆分系统的设计与实现-计算机系统结构专业论文.docx

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘 要 摘 要 随着互联网技术的高速发展和移动通信业务的兴起，用户的数据量呈爆炸式 的增长，尤其是在电信行业。新颖的电信增值业务不断推出，电信客户群不断增 多等都直接导致了电信业务量的迅速增长。此外，由于用户对电信业务的服务在 实时性、安全性和稳定性方面有着极高的要求，所以就如何及时的处理海量数据 集这一问题已成为了当前的研究热点。 国际上提出的“云计算”概念就是用以解决对海量数据集的处理问题的。目 前在这方面有着较成熟应用的主要有 Google 的云计算应用平台、Amazon 的弹性 计算云、IBM 的蓝云计算平台，但是这些技术还没有应用于电信行业。本文主要 研究分布式计算在电信项目中的应用。首先结合当前国内外的研究现状和发展态 势，分析现有云计算的架构，再根据自身项目的具体需求，设计出分布式虚拟化 计算平台（Distributed Virtual Computing Platform，DVCP）中的高可靠任务拆分系 统。 本文的主要工作有以下几点： 第一，从整体上介绍 DVCP 项目。该项目对大规模数据集进行实时的采集、 统计和分析。使系统在满足新兴的业务服务的同时还能继续提供传统业务服务。 第二，任务拆分模块的设计与实现。本模块的设计基于 Epoll 和线程池的服务 框架。采用 Epoll 异步事件驱动机制处理网络 IO 请求，采用线程池模型处理磁盘 IO 的异步操作，提高 IO 效率。任务拆分采用 MapReduce 并行计算架构，可以解 决大数据集的分布式计算问题，采用这种方法对电信数据进行处理能够大大提高 对数据统计分析的能力。 第三，系统容错模块的设计与实现。为了保证系统的高可用性，本系统采用 双机热备的容错机制，其实现模式为没有共享存储设备的纯软件方式，即将数据 （包括状态值和业务数据中间结果）实时地从主设备中备份到从设备中，并保存 在从设备的内存中。当主设备出现故障时，可进行快速切换。 本系统通过负载压力发生器的测试，结果表明系统的功能能够正常运行，并 且在保证实时性的前提下可以满足大规模用户同时访问的需求。 关键词：分布式计算，任务拆分，MapReduce，双机热备 I ABSTRACT ABSTRACT With the rapid development of Internet technology and the rise of mobile communication services, the users’ data is explosively increasing, especially in the telecommunication industry. The launching new value-added telecom service, and the increasingly large amounts of telecom customers lead to the direct result that the telecom services volume is growing quickly. Also, the telecom service has very high requirements in real-time, security and stability. Therefore, how to deal with massive data sets in time has become current hot issues. The concept “cloud computing” has been raised to solve the hot issues. These corporations are Google, Amazon and IBM. However, they have