基于Spark的云化报表系统的设计与实现-电子与通信工程专业论文.docxVIP

南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期：  南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 随着 4G 业务的发展，业务模式更新换代，其规模也迅速扩大，业务数据量成线性地增 长。报表系统通过存储过程实时地处理营业员或者营业厅的当天全量数据，尤其在报表查询 高峰期的情况下，会导致一段时间内数据库的处理压力倍增，从而拖累整个系统的正常运行。 对于营业员来说，下班查帐时表现得更为明显。由于存在以上问题，本文才设计了云化报表 系统。 本文的报表系统主要完成以下几个方面的工作： 本文的云化报表系统主要包含四个层面的工作，分别是数据抽取层，Spark 计算层，业务 逻辑层和界面层。数据抽取层的工作主要是实时增量数据的抽取，生产库使用 OGG（Oracle Golden Gate）同步到镜像库过程中生成的增量数据文件，利用 Kafka 消息系统把增量数据发送 到 Spark 计算层；Spark 计算层的作用是实时增量数据的计算，利用 Spark Streaming 处理订阅 的 Kafka 消息，处理 Kafka 发送的增量数据，首先把增量数据备份到 HBase 上，计算完成后 再把数据存入 Redis，Redis 定时同步到 HBase 上，对于非实时的计算可以直接从 HBase 中获 取数据，Spark 计算后存入 HBase 中；业务逻辑层的作用是从 Redis 和 HBase 里面获取报表 数据，给系统界面和外围接口使用；界面层的作用是查询显示报表数据、查询监控信息、查 询统计信息等。 最后利用实验来验证，在大量数据处理的情况下，Spark 计算的优势所在，也证明了本文 工作的有效性和实用性。 关键词: Spark；OGG；Kafka；Redis；大数据处理 I Abstract With the development of 4G services, the size of upgrading business model is growing and business data grows linearly. Real-time reporting system is processed for the whole amount of data by business hall or salesperson，it leads to a period of time to deal double with stress of the database，which dragges down the entire system to be run. For the salesperson, the performance of the audit workd is more obvious. Due to these problems, this paper is designed to cloud-based reporting system. The contribution of this thesis are as follows: The reporting system proposed in this paper mainly contains four aspects，which are data extraction layer, Spark computing layer, business logic layer and interface layer. Data extraction layer’s main work is the real-time data of incremental data extraction，production database uses Ogg (Oracle Golden G