公路大数据处理及应用研究.doc

PAGE PAGE 2 公路大数据处理及应用研究 论文作者 段小霞 工作单位 呼和浩特市公路管理局 联系电话写作时间 2014年5月 公路大数据处理及应用研究 呼和浩特市公路管理局 段小霞 摘要：智能化是未来公路发展的必然模式。本文通过研究公路路网系统在运行过程中产生的不同公路大数据的处理及应用，为智能公路系统的设计、发展提供一些参考。 关键词：公路 大数据 处理 云计算 引言 据中国新闻网的报道，2010年底我国公路总里程突破400万公里，达400.82万公里，其中，全国高速公路达7.41万公里，居世界第二位。当前公路的实时路况信息在电子地图上仅标注为拥堵、缓行和畅通三种状态，就会产生海量的数据，倘若将全部路况采用交通电子眼拍摄成数字视频，其数据量是惊人的。事实上，公路信息化系统产生的数据远不止实时路况信息。天津大学的杨晨就将天津市公路网交通信息化体系划分成四个大系统：公路管理系统、交通管理系统、公路收费系统以及交通信息系统。依据实现的功能不同，将各系统再划分为若干子系统。以此作为参照，可知公路信息化数据将会产生呈几何级级数增长的趋势。 1.1公路大数据 2011年5月，在?“云计算相遇大数据”为主题的美国易安信公司世界大会上，易安信公司提出了大数据的概念。2012年，奥巴马政府推出了“大数据战略”，媲美当年克林顿政府时代的信息高速公路计划，奥巴马希望借助大数据将美国经济带出泥潭，从基础建设，到IT硬件、软件直至网络。联合国于2012年7月在纽约总部发布了一份大数据政务白皮书《大数据促发展：挑战与机遇》，总结了各国政府如何利用大数据更好地服务和保护人民。大数据时代已经来临。 大数据如此重要，究竟什么是大数据呢？ 大数据是指无法在一定时间内用传统数据库软件工具对其进行抓取、管理和处理的数据集合。公路系统中的大数据大致可以分为收费数据、交通监控数据、指挥调度数据、日常运营数据和相关的第三方数据，例如公安交警数据、路政数据、地方道路数据、车辆维修点及周边医院数据等。这些数据体量大、类型多，足以支撑起行业应用大数据来解决相关问题。 根据数据的内在结构，这些数据可以进一步细化分为结构化数据和非结构化数据。结构化数据主要包括存储在关系数据库中的数据，目前公路系统中大部分数据属于结构化数据。随着公路信息化进程的不断加快，这部分数据增长很快。相对于机构化数据而言，不方便用数据库二维逻辑来存储的数据就是非结构化数据，例如图片、音频和视频。随着互联网技术的不断发展，公路系统中的非结构化数据正以惊人的速度飞快增长，比如交通实时监测数据，传统的两种实时交通监测，一是固定监测法，即通过道路上方的摄像头和埋在路面下的传感器来监测某地不同时段的交通流量。另一种方式是交通广播电台的几千个交通信息播报员通过人工反馈来实时播报交通状况。这两种实时交通监测方式都有覆盖率低、速度慢的致命缺点，而利用大数据可以快速、准确、大范围地解决交通量实时监测这一难题。高德公司与出租公司合作，选取装有GPS定位设备的4万辆出租车，实时共享其行驶轨迹数据，每隔10秒到1分钟，出租车自动把自己的位置信息发回大数据中心，大数据中心实时计算每条道路的交通流量。 1.2 公路系统中大数据的特点 ? 学界将大数据特点归纳为4个“V”，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。事实上，以前并非没有数据挖掘，而“大数据”理论则与传统的数据挖掘存在差异。 公路海量数据潜在价值巨大，具有如下特点： 第一、数据量巨大。全球在2010年正式进入ZB时代，IDC预测，到2020年，全球将总共拥有35ZB的数据量。 第二、 结构化数据、半结构化数据和非结构化数据。如今的数据类型早已不是单一的文本形式，订单、日志、音频、视频都对数据处理的能力做出了更高的要求。 第三、价值密度低。以视频为例，时长一小时的视频，在连续不间断监控过过程中，可能有用的数据仅仅只有一两秒，如何通过强大的机器算法更迅速的完成数据的价值，“提纯”是目前大数据汹涌背景下亟待解决的难题。 第四、实时获取需要的信息。大数据区分于传统数据最显著的特征。如今已经是ZB时代，在如此的海量数据面前，处理数据的效率就是一个行业的生命。 2 大数据处理技术 2.1 大数据处理的价值 大数据已然成为目前科技界和产业界共同关注的热点。目前全球数据的存储和增长能力均落后于数据的增长速度。曾创造了“啤酒与尿布”经典案例的沃尔玛公司是最早利用大数据分析与收益的企业之一。现在沃尔玛每小时处理100万件交易，将大约2.5PB的数据写入数据库；微软耗费数百万美元完成office拼写检查功能，谷歌则利用大数据直接进行