基于海量数据的智能交通管理系统.doc

基于海量数据的智能交通管理系统 设计说明书 哈尔滨理工大学 2018.4.26 基于海量数据 PAGE 1的智能交通管理 PAGE 1 目录TOC \o "1-3" \h \u 一、系统简要概述 2 1.1 定义 2 1.2 编写目的 2 1.3 系统目标 2 1.4 系统适用范围 2 二、系统总体设计 2 2.1 需求分析 2 2.2 系统需求概括 3 2.3运行平台 3 2.4环境搭建 3 三、系统详细设计 3 3.1功能需求 3 3.2 MapReduce框架的实现 4 3.3数据的结构化查询 4 3.4 hadoop的hdfs存储 4 四、系统功能的设计与实现 5 4.1 MapReduce管理 5 4.2系统运行结果 6 4.3 结果分析 9 五、系统测试 9 六、系统出错管理设计 9 七、总结 9 一、系统简要概述 1.1 定义 本系统定义为基于海量数据的智能交通管理系统。 1.2 编写目的 编写系统设计说明书是系统开发过程必不可少的部分，其目的是为了使开发人员在完成概要设计说明书的基础上，完成概要设计规定的各项模块的具体设计工作。 1.3 系统目标 该系统基于海量数据的结构化查询到MapReduce的转化，在智能交通中对大数据的查询经常用到，所以了解和研究数据化的结构化查询在实际系统中比较有意义。本系统讲述了分布式存储和分布式计算的基本原理和基本架构，从底层讲述了map函数和reduce函数工作的基本过程，对数据的研究和挖掘非常简单。该系统的主要功能是Hadoop对管理海量数据的管理过程，对海量数据的查询转换到MapReduce的具体流程，以及海量数据在hdfs的具体存储过程。主要研究的是结构化查询中的聚集查询，聚集查询在结构化查询中是经常用到的查询，在实际系统中用到的也非常广泛。 1.4 系统适用范围 该系统适用于智能交通对海量数据的管理。 二、系统总体设计 2.1 需求分析 随着计算机和信息技术的迅猛发展和普及系统，行业系统的规模迅速扩大，行业系统所产生的数据呈爆炸性增长。因此，寻求有效的大数据管理技术、方法和手段已经成为现实世界的迫切需求。 由于数据量的快速增长，对大数据的操作和结构化查询在日常的数据管理经常用到，聚集查询也是查询时使用比较多的查询。 由于大数据管理需求的迫切性和重要性，近年来大数据技术已经在全球学术界、工业界和各国政府得到高度关注和重视，全球掀起了一个可与20 世纪 90 年代的信息高速公路相提并论的研究热潮。当今社会正处于信息爆炸的时代，人们常在茫茫的数据海洋前显得不知所措，一时难以找出隐藏在数据之中的本质、结构和规律。大数据时代下，数据信息量以几何级数増长，如何管理海量的数据，如何实现高效的提取与理解海量数据中的价值信息，已经成为各行各业所面临的重要问题。在智能交通领域，海量车辆监控数据的可视化分析和研究工作具有重要现实意义。根据交通部最新发布的JT/T-808与JT/T-809文件，市级范围内公共车辆的上传数据由上级交通部口统一监控管理。这对现有车辆监控平台在海量数据下的监管效能提出了更高的要求。 所以开发一个智能交通海量数据管理系统是有意义的，可以对交通的驾驶员、车辆、环境、等海量数据进行有效的、准确的管理，从根本上解决海量数据操作和结构化查询、存储的难题。当系统获取当前交通数据之后，实时管理。 2.2 系统需求概括 1.linux环境下进行，不能出现卡机死机状态。 2.系统系统可以有效地接收输入的结构化查询命令并有效的输出结果。 3.将解析的sql命令找到对应到具体的聚合函数的MapReduce。 4.及时有效的执行map和reduce过程。 5.系统系统的维护更新要方便。 2.3运行平台 硬盘8G内存，320G硬盘，普通PC机一台，使用VMWare虚拟机，构建三个 Linux系统，一个master节点，两个slave节点。其master和slave均为1G内存，10G硬盘大小。linux使用ubuntu13.04， Hadoop使用1.1.2版本，jdk使用jdk7版本。 2.4环境搭建 1）宿主机（Windows）与客户机（安装在虚拟机中的 Linux）网络连接； 2）Host-only 宿主机与客户机单独组网； 3）Bridge 桥接 宿主机与客户机在同一个局域网中。 4）Hadoop 的为分布式安装步骤 5）设置静态 IP 在 centos 下左面上右上角图标右键修改； 6）修改主机名(原名