基于云计算智能交通系统数据预处理与并行化技术研究.docVIP

基于云计算智能交通系统数据预处理与并行化技术研究 　　摘 要：随着国民经济的不断发展，交通运输网络也在逐渐完善。在现阶段的交通系统中，各用户终端的信息数据储存与分析方面还存在一定的不足之处。科学技术的发展日新月异，更多新的技术也被应用到智能交通体系中，云计算技术理念就是其中之一。云计算在数据存储与计算方面有着强大的优势，为用户提供更为便捷的服务，有效缓解了在大数据处理方面的难点。在智能交通体系中所涉及到的交通基础数据也称之为时空数据，此类数据具有自身独特属性。本文主要基于云计算技术对智能交通系统中数据预处理及并行化技术进行了研究。 　　关键词：云计算；智能交通系统；预处理；并行化 　　中图分类号：TP391 文献标识码：A 文章编号：1671-2064（2017）16-0038-01 　　1 基于云计算的智能交通服务模式 　　1.1 基于云计算智能交通服务需求分析 　　在目前我国的智能交通信息中，不仅历史数据的累加量大，还有更多的实时采集数据传送至系统之中，因此在实际工作中面临着更大的难度。为了满足交通服务发展的需求，需要根据实际情况应用先进的处理技术。智能交通服务具体需求主要体现在信息化、开放性、智能性方面的需求，智能交通服务需要海量的数据分析作为支持，诸如车辆路径GPS数据、地图数据等。不同类型的数据其特点也存在差异，应根据具体的要求进行数据采集，强调数据的实时性。云计算技术的应用将所有采集的数据统一集中于服务平台ITSPCC，规避了计算机技术由于硬件设备的限制而导致时空数据共享性较差的问题。基于云计算的智能交通服务体系中，服务平台的虚拟化特征较为突出，能够实现对于各类资源的高效部署。同时为了避免硬件设备之间存在的信息隔离现象，云计算技术运用统一的硬件接口，能够实现大规模数据的分析与处理。 　　1.2 基于云计算的智能交通服务平台的体系结构 　　交通时空数据的储存量巨大，在计算方面也面临着严峻的形式。以上海市市区为例，据统计出租车交通GPS信息总量平均大约在16GB/天，时空数据储存量非常大。利用云计算技术储存量大、计算能力强的优势，将时空数据的调度管理纳入统一体系之中，促使智能交通服务质量与水平的提高。个人用户通过ITSPCC服务平台及时获取所需的交通信息。 　　采用ITSPCC服务平台进行车辆路径导航，需要先采集并储存交通信息，采用线性规划的方式分析数据特点，检测出可能存在异常车流的数据点，对车辆及异常车流进行分析计算，形成相应的关系矩阵，利用相关公式测算可能存在的异常车流路径，将最终的计算结果反馈给用户，以此来提供导航服务。 　　2 面向单车车辆路径导航的GPS时空数据预处理 　　在进行数据处理时，预处理是GPS时空数据存储与计算的基础。笔者从单车车辆路径导航为切入点，对数据预处理工作进行分析。以具体的案例着手分析结果更为直观。通过上海市六万辆出租车两年内轨迹数据的收集整理，每年的信息总量约为6TB，此类庞大的数据不仅对于储存空间的要求高，处理起来的难度也相对较大。 　　2.1 GPS数据的分布式结构化处理 　　在GPS数据采集的过程中，所有数据的储存是以时间为顺序，在相同的频率下进行时空数据的采集。为了保证数据筛选的有效性，应根据出租车的实际情况采取分类处理的措施。由图1可知，在ITSPCC各个处理中心内数据的存储方式是单车分布式，为后期的并行化处理提供了便利。通过相关的程序实现对GPS时空数据的预处理。 　　2.2 单车的GPS异常数据分析 　　时空数据的采集与处理受到设备因素的限制，可能会存在不同程度的数据失准或者错误的问题。若不加处理就应用在上层之中，会导致时空数据分析结果的可靠性降低。因此需要清理与校正时空数据，根据实际的情况对缺失的数据进行补偿，错误数据应及时清除。为了便于数据的清理与校正，可按照采集的数据生成GPS轨迹图。常见的异常现象有三种，首先是离散数据的出现，即个别的数据点出现偏离现象，造成这种现象的原因可能是数据不准确，在筛选时应具体分析此类问题出现的原因，采取删除或者更改的处理措施。其次是轨迹重合交叉，此类错误比较明显，数据整合中操作不规范，将不同型号车辆数据整合在一起就会出现这种问题。最后是空白数据图，对于这种现象具体分析，采取相应的处理措施。 　　通过进行数据的预处理，主要在分布式结构优化以及异常数据筛选方面进行数据分析，尤其是对于分布式储存的研究能够为并行化处理提供支持。在智能交通服务体系之中，大部分都需要对数据进行预处理的措施，将错误或者失准的数据及时筛选出去，提高数据分析与计算的可靠性。 　　3 面向交通时空数据的数据并行化处理 　　3.1 并行化处理的的意义 　　在ITSPCC服务平台的功能模块中，算法并行处理模块在其中占据着重要的地位。在用