基于Hadoop的电信运营商海量数据处理方法的研究与应用.doc

... ... 单位代码： 10293 密 级： 公 开 专 业 学 位 硕 士 论 文 论文题目： 基于 Hadoop 的电信运营商 海量数据处理方法的研究与应用 学 号 1211012218 姓 名 王 翔 导 师 沈建华 副教授 专业学位类别 工 程 硕 士 类 型 全 日 制 专业（领域） 电子与通信工程 论文提交日期 万方数据 Research on Hadoop Based Telecom Operators Massive Data Processing Techonology and its Applications Thesis Submitted to Nanjing University of Posts and Telecommunications for the Degree of Master of Engineering By Wang Xiang Supervisor: Asso. Prof. Shen Jianhua March 2014 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名：_____________ 日期：____________ 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名：____________ 导师签名：____________ 日期：_____________ 万方数据 摘 要 随着移动互联网的迅速发展和业务种类的不断丰富，用户在使用电信业务的过程中产生 的数据成倍地增长。海量数据的出现及数据结构的改变，给电信运营商管理、分析和处理数 据带来了巨大的挑战。传统的数据仓库已经无法有效地存储和处理日益增长和新型的业务数 据，而基于 Hadoop 分布式技术的发展为解决上述问题提供了有效的技术手段。论文针对基 于 Hadoop 的电信行业海量数据分析的方法，采用理论分析和实验进行了全面的研究。 论文首先对基于 Hadoop 的方法进行了全面的阐述，讨论并分析了 Hadoop 体系架构中包 括 HDFS、MapReduce 和 Hive 等关键技术。其次，论文对传统电信运营商海量数据处理方法 进行了分析，在对其缺点进行分析基础上阐述了基于 Hadoop 的改进海量数据处理方法。论 文理论分析了基于 Hadoop 的海量数据处理模型及优化策略，并搭建了实验环境进行了验证 和对比，实验结果表明基于 Hadoop 的方法可以有效提高海量数据处理的效率，降低运营成 本。 关键词: 海量数据分析，电信行业应用，Hadoop，数据仓库 I 万方数据 Abstract With the rapid development of Mobile Internet and enrichment of various new services, user- generated data in processing telecom service has been growing dramatically. Massive data and data structure changings bring an enormous challenge to the telecom operators in processing, analyzing and managing data. Traditional data warehouse technique can not efficiently store and process the ever growing and new types of service data. Hadoop distributed technology provides a promising method to solve these problems, which has been studied in this thesis w