船舶监控系统中海量数据处理技术研究-计算机软件与理论专业论文.docxVIP

Nanjing University of Aeronautics and Astronautics The Graduate School College of Computer Science and Technology Research of Massive Data Processing in the Vessel Monitoring System A Thesis in Software and Theory of Computer by Gu Yu Advised by Associate Prof. Zhou Liang Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering December, 2011 承诺书 本人声明所呈交的硕士学位论文是本人在导师指导下进 行的研究工作及取得的研究成果。除了文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得南京航空航天大学或其他教育机构的学位 或证书而使用过的材料。 本人授权南京航空航天大学可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后适用本承诺书） 作者签名： 日 期： 南京航空航天大学硕士学位论文 南京航空航天大学硕士学位论文 船舶监控系统中海量数据处理技术研究 船舶监控系统中海量数据处理技术研究 i i PAGE PAGE iv 摘 要 目前，船舶监控系统正在向自动化、智能化、数字化方向发展，因此造成监测数据量的大 量增加，导致系统处理数据能力下降，系统响应性能急剧降低。而在船舶监控系统中，如何从 海量的监测数据中方便、快捷地查询与获取用户所需的监测信息是用户极为关注的问题之一。 Hadoop 平台是目前应用广泛、操作简单的开源免费云计算开发平台，可利用集群的方式提高大 规模数据的处理能力。为此，本文将 Hadoop 平台引入船舶监控系统实现中，重点对基于 Hadoop 平台的海量数据处理技术进行研究，论文的主要研究内容如下： （1）给出了基于 Hadoop 平台的船舶监控系统框架，该框架主要由系统应用层、中间件层 和数据存储层组成，其中中间件层是系统的核心层。 （2）提出了一种基于 Hadoop 平台的分布式查询算法。借鉴分布式查询技术相关概念与结 构，在 TPUT 查询算法的基础上，加入直方图动态划分思想，提出了一种效率更高的 ITPUT 查 询算法，并将其应用到 Hadoop 平台上。 （3）设计了一种基于 Hadoop 平台的作业调度算法。针对 Hadoop 平台上原有作业调度算 法的不足，设计了一种新的作业调度算法，该算法从快慢节点的判定、优先级的判定和负载均 衡动态调整三方面建立模型。另外与 MapReduce 计算模型有机结合，能够较好的解决海量数据 处理中的数据本地性问题，降低系统消耗。 （4）完成了基于 Hadoop 平台的船舶监控系统的设计及主要功能开发。重点描述了基于 Hadoop 平台的 ITPUT 分布式查询算法和 Three-Queue 调度算法的实现细节，给出系统主要运行 界面。 关键词：海量数据，Hadoop，MapReduce，分布式查询，作业调度 ABSTRACT Currently, the Vessel Monitoring System is developing along the direction of automation, intelligent and digital, which leads to the increasing in the amount of monitoring data and a reduced ability to process the data, so the response performance of system is decreasing dramatically. Thus, in the Vessel Monitoring System, how to query and obtain the required monitoring information from the massive monitoring data quickly and easily has been one of questions of great concern to the users. Hadoop platform is a free and open source cloud computing d