云计算技术在交通流量分析系统设计中的应用研究.docVIP

云计算技术在交通流量分析系统设计中的应用研究 　　摘 要 当今社会，随着机动车数量暴增，城市交通拥堵、交通信息管理等问题日益严重。研究并设计合适的交通流量分析系统，可以通过采集交通流量的大数据，掌握实时道路情况并有效预测未来某时段的道路交通。采用hadoop分布式文件系统对海量交通大数据进行存储，使用神经网络算法对数据进行建模处理，使用MapReduce作为核心算法进行运算，实验证明，这是良好的解决方案。 　　关键词 智能交通；大数据；云计算；Hadoop 　　中图分类号 TP3 文献标识码 A 文章编号 1674-6708（2017）188-0066-02 　　当今社会，随着机动车数量暴增，城市交通拥堵、交通信息管理等问题日益严重。在城市飞速发展及车辆迅速增加的背景下，研究并设计合适的交通流量分析系统，使其能适时收集交通流量数据并对数据做出合理正确的分析，从而及时掌握实时道路情况并进而有效预测未来某时段的道路交通情况已迫在眉睫。由于交通数据具有大数据的特点，因此使用分布式文件系统进行数据存储，采用大数据的处理技术对收集到的海量数据建立合适的数据处理模型并进行分析处理，采用MapReduce作为核心算法进行运算，最终实现流量情况预测。 　　1 大数据主要处理技术 　　目前，对大数据的处理技术主要有以下 　　几种[1-3]： 　　1）数据挖掘。数据挖掘是对数据进行筛选等有效处理的一种技术，目的是从海量数据中通过去噪、转换、净化、挖掘提取等过程筛选出有价值的部分。在处理过程中经常借助多处理阶段模型、机器学习、支持向量机等。 　　2）遗传算法。遗传算法的概念来源于达尔文的生物进化论，即从海量的可能结果中获取最优的个体，在实际应用中常用来获得最优解。其基本思想是从给定的候选解中，使用根据适应条件计算出的适应度对其进行递归淘汰，直至得到最优解。遗传算法是对大量数据进行筛选提取有用信息的重要手段。 　　3）神经网络。神经网络（Artificial Neural Networks，即ANNs）是模式识别中经常用到的算法，它是模仿动物神经结构及行为特征的分布式并行信息处理的数据处理模型。常用的人工神经网络模型有BP、RBF、Hopfield等。在众多的神经网络工具中， NeuroSolutions凭借其良好的网络设计界面、优化的遗传算法以及先进的模型训练程序，能够在快速、高效的实现信息获取方面发挥重要作用。 　　4）马尔可夫模型。马尔可夫模型是一种适合于随机过程的数据模型，其更为常用的是各种延伸的模型，如隐马尔可夫模型、灰色马尔可夫模型等。它在语音识别及图像识别中应用较为 　　广泛。 　　每一种处理技术都有其特点，但是最关键的是对数据的预处理及模型的建立。在模型的建立过程中都需要用大量样本数据对模型进行训练，因此样本的合理性是模型训练的关键，而训练所需时间则是考虑数据处理算法性能的重要因素。 　　2 交通流量分析系统设计思想 　　2.1 系统简介 　　本系统通过对交通流量大数据进行分析，充分利用“云计算”及相关技术在交通信息化中的应用，基于“云计算”设计研究了智能交通管理系统设计和解决方案。利用Hadoop系统结构，对3个节点的Hadoop集群进行完全分布式部署，然后在该集群上编写MapReduce 程序。设计了基于Hadoop的MapReduce模式的交通信息服务系统，并通过仿真系统及模拟数据对该系统进行测试。本系统具有如下特点： 　　1）所用样本数据来源具有实际意义。系统在设计及仿真时使用保定市某路口采集到的数据，数据可以反应实际交通流量情况。 　　2）对数据样本进行了充分的筛选、降噪处理。 　　3）对于海量数据采用服务器集群的分布式处理，提高运算速度的同时保证了数据的健壮。 　　4）平台搭建使用Linux操作系统，当PC机设备或软件不能满足需要时，还可在虚拟机环境下进行仿真。 　　2.2 系统主要功能 　　本系统主要通过对采集到的数据进行筛选、降噪等预处理后，使用数据样本对模型进行训练，得到能够反映下一时刻交通流量信息的模型。之后根据给出的当前状态数据，预测未来时刻的交通情况，进而给出推荐路径。 　　2.3 系统模型设计 　　系统模型如图1所示，系统包括3层，分别为服务器、中间件以及底层。 　　2.4 系统技术实现 　　1）数据处理部分：使用神经网络算法对采集到的样本进行处理从而得到模型，仿真实验中使用在保定市某路口采集到的2 000组数据进行，其中1600组用于模型训练，400组用于流量预测。 　　2）数据存储部分：在实验室中使用PC机，在Linux系统环境下搭建hadoop集群分布式文件系统用于数据的存储。 　　3）数据运算：使用MapReduce算法对数据进行统计与分析，分