关于Hadoop的交通大数据计算应用研究.pdfVIP

IntelligentTransportationBigData CalculationsBasedonHadoopApplyResearch A Dissertation Submitted for the Degree of Maste Candidate ChengHao ： Supervisor：AssociateProf.DuanZongtao Chang’an University, Xi ’an, China I 摘 要 随着计算机网络和车联网在城市交通领域的广泛应用，日常需要处理的城市交通数 据已经呈现出大数据的诸多特征，采用传统的信息处理技术对交通大数据进行分析时不 可避免的遇到了性能瓶颈。Hadoop 是针对互联网应用而提出的一种被广泛认可的、面 向大数据计算的、开源的大数据计算系统开发框架，其以HDFS 和 MapReduce 编程模 型为核心，在大数据计算方面表现出优越的运算效率。随着在网络搜索、数据挖掘和用 户行为分析等众多的互联网应用领域大量成功应用，基于 Hadoop 的行业应用研究已经 成为计算机领域的研究热点。然而，针对交通大数据的 hadoop 应用目前还鲜有报道。 本文基于 Hadoop 平台对交通大数据的信息处理方法展开研究。首先，对 Hadoop 中的HDFS 和 MapReduce 编程模型进行了深入研究，并对目前常见的几种大数据计算 平台进行了分析比较；然后，在实际部署的 Hadoop 集群环境中，设计并实现了一种分 布式诱导交通流分配方法，该方法在已知城市路网数据集的条件下可以兼顾交通诱导和 优化交通流分配，同时也提出了一种获取城市路网数据集的搜索算法；围绕上述方法设 计并实现了一种基于 Hadoop 的交通信息服务系统，能够根据实际出行需求，兼顾优化 城市路网交通流分配的目标，向用户提供分布式交通诱导服务；通过构建中间层实现了 根据接入的用户请求自动触发 hadoop 计算任务的功能，解决了 Hadoop 原有的离线式批 处理工作方式不适合实时在线信息服务的问题。最后，通过对仿真实例验证了系统的有 效性。 关键词：智能交通；交通诱导；大数据；Hadoop ；MapReduce II ABSTRACT As computer networks and vehicle networking are widely used in the field of urban transport, urban transport data need to be processed daily has shown a lot of characteristics of big data,using traditional information processing techniques to analyze large data of traffic inevitably encounter performance bottlenecks. Hadoop is an application made ​ ​ for the Internet has been widely recognized, for large data computing, the open source big data computing system development framework, which use HDFS and MapReduce programming model as the core,exhibit superior computing efficiency in big data computing. With a large number of successful applications in many Internet applications in Web se