公路大数据处理及应用研究..docVIP

公路大数据处理及应用研究 论文作者 段小霞 工作单位 呼和浩特市公路管理局 联系电话写作时间 2014年5月 公路大数据处理及应用研究 呼和浩特市公路管理局 段小霞 摘要：智能化是未来公路发展的必然模式。本文通过研究公路路网系统在运行过程中产生的不同公路大数据的处理及应用，为智能公路系统的设计、发展提供一些参考。 关键词：公路 大数据 处理 云计算 引言 据中国新闻网的报道，2010年底我国公路总里程突破400万公里，达400.82万公里，其中，全国高速公路达7.41万公里，居世界第二位。当前公路的实时路况信息在电子地图上仅标注为拥堵、缓行和畅通三种状态，就会产生海量的数据，倘若将全部路况采用交通电子眼拍摄成数字视频，其数据量是惊人的。事实上，公路信息化系统产生的数据远不止实时路况信息。天津大学的杨晨就将天津市公路网交通信息化体系划分成四个大系统：公路管理系统、交通管理系统、公路收费系统以及交通信息系统。依据实现的功能不同，将各系统再划分为若干子系统。以此作为参照，可知公路信息化数据将会产生呈几何级级数增长的趋势。 1.1公路大数据 2011年5月，在?“云计算相遇大数据”为主题的美国易安信公司世界大会上，易安信公司提出了大数据的概念。2012年，奥巴马政府推出了“大数据战略”，媲美当年克林顿政府时代的信息高速公路计划，奥巴马希望借助大数据将美国经济带出泥潭，从基础建设，到IT硬件、软件直至网络。联合国于2012年7月在纽约总部发布了一份大数据政务白皮书《大数据促发展：挑战与机遇》，总结了各国政府如何利用大数据更好地服务和保护人民。大数据时代已经来临。 大数据如此重要，究竟什么是大数据呢？ 大数据是指无法在一定时间内用传统数据库软件工具对其进行抓取、管理和处理的数据集合。公路系统中的大数据大致可以分为收费数据、交通监控数据、指挥调度数据、日常运营数据相关的第三方数据，例如公安交警数据、路政数据、地方道路数据、车辆维修点及周边医院数据等。这些数据体量大、类型多，足以支撑起行业应用大数据来解决相关问题。? 学界将大数据特点归纳为4个“V”，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。事实上，以前并非没有数据挖掘，而“大数据”理论则与传统的数据挖掘存在差异。 公路海量数据潜在价值巨大“大数据”离不开“云计算”“云计算”是将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。“大数据”的应用需要“云计算”助力。MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”主要思想都是从函数式编程语言借来的，有从矢量编程语言借来的特性。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。收费数据、交通监控数据、指挥调度数据、日常运营数据相关的第三方数据，例如公安交警数据、路政数据、地方道路数据、车辆维修点及周边医院数据等。这些数据体量大、类型多，足以支撑起行业应用大数据来解决相关问题。淮安市公路管理处技术信息科陆瑶对构建云计算数据中心关键技术的选型进行了分析,并给出了一套适合公路应用特点的云计算数据中心建设方案,对服务器虚拟化、网络虚拟化、存储虚拟化的设计与实现进行了详细的阐述陆瑶 2