数据挖掘算法在交通数据中研究分析.docVIP

数据挖掘算法在交通数据中研究分析 　　【摘 要】 在当前信息化的时代背景下，数据和信息成为决定企业市场竞争力的关键措施，企业要想获得良好的发展，必须从海量的数据中迅速找出有用信息，为自身的运营和生产决策提供科学合理的服务。针对这种需求，数据挖掘学科应运而生，并且迅速发展，形成了一套较为完整的理论体系。该文希望通过数据挖掘技术，科学合理地帮决策者寻找数据之间的规律，全面地分析交通数据信息之间隐含的内在联系。 　　【关键词】 数据挖掘；交通；算法 　　引言： 　　近年来，数据挖掘技术不断发展，关联规则的应用领域也不断拓宽，比如商业、工业、国防、企管等很多方领域的应用都取得了可喜效果。通常，存储着海量数据在交通系统的数据库中，进行数据的分析和管理需要用科学的方法，而一般的数据库得到的只是数据的表层信息，只是进行数据查询，不能得到隐藏在数据中的深层次的，不能获得数据中的隐含关系，关联特性有关数据之间的预测信息不能得到。在高速发展信息技术的大数据时代，仅停留在表层处理的数据分析方式对现代科技发展的需求已经不能适应，研究已经成为交通系统迫切需要解决的问题是数据挖掘技术的交通数据分析处理技术。 　　一、数据挖掘算法概述 　　数据挖掘，又称知识发现，是计算机科学与统计学的一个交叉点，主要是指从不同的角度，对数据进行分析和整理，从海量的数据中总结出有用信息。换言之，就是从大量繁杂模糊的数据中，提取出有效信息的过程。从某种程度上讲，数据挖掘属于一种企业数据处理技术，通过对企业在商业活动中产生的业务数据进行抽取、转换以及分析和模型化处理，提取出关键性的数据信息，为企业经营管理决策的制定提供科学的参考依据。 　　从目前的发展情况看，数据挖掘的内容可以分为以下几个方面： 　　（一）关联分析 　　在关联分析中，主要是利用数据之间的相互关联，结合已知数据对未知数据或者模糊数据进行推导和预测。在关联分析中，应用最多的是Apriori算法，在对关联规则进行研究时，通常也是在该算法的基础上进行修改和扩展。但是，Apriori算法在对支持度进行计算时，需要对数据库进行多次全面扫描，生成的候选集存在较多的冗杂项，因此存在一定的性能瓶颈，需要进行改进和解决。 　　（二）分类分析 　　分类分析，是指对数据信息进行分类处理，为数据信息的区分和处理提供便利，从而实现对未知数据类型的预测。分类的主要概念在于训练集，可以结合特定的数据模型，对数据进行分类。当前应用最为广泛的数据分类模型是朴素贝叶斯模型和决策树模型。 　　（三）聚类分析 　　聚类分析是一种具有良好实用性的数据挖掘技术，可以对无规律的数据进行有效分析，并从数据中找出有用的信息，在市场分析、信息检索、卫生医疗等领域得到了广泛的应用。聚类分析，实际上是通过观察以及非示例性的学习，完成对于数据对象的分类，以Kmeans算法为常用算法，但是该算法同样存在一定的性能瓶颈，K值的准确性受使用者自身知识水平的英系那个，可能造成算法性能的不稳定或者聚类结果的偏差，因此在利用时需要格外注意。 　　二、数据来源与数据仓库的建立 　　数据挖掘并不是一门崭新的学科，而是综合了统计分析、机器学习、数据库等多方面研究成果的应用学科，而近年来的大数据又使得数据挖掘有了革命性的发展。由于政府采购信息的数据源要涉及多个业务系统，并且这些系统可能采用了不同的数据库，包括ORACLE、SQL SERVER和SYBASE等，考虑到不增加业务系统的负载，可以在系统中增加一个中间数据库，每天将业务系统的备份数据导入到中间数据库，并对数据进行抽取和清洗，然后再载入到数据仓库中（即ETL过程）。 　　数据库与数据仓库的区别在于：数据库是“数据基础”，以贮备原始数据为目标；而在数据仓库中的数据则包含了过去各阶段的痕迹以及综合的、集成的和提炼过的信息，结构也相对灵活。另一方面，除了添加外，数据经过ETL处理进入数据仓库后，一般很少再对其进行修改和更新的操作。 　　三、数据挖掘技术在交通数据中的运用研究 　　由于交通信息的特点，在交通数据的处理中，有着非常庞大交通数据量，而且历史数据众多，每天在迅速增多，在交通系统中数据挖掘技术应用主要是对交通数据历史知识进行挖掘，提供给用户一些有用信息，方便用户出行，方便交通管理部门进行管理数据。 　　（一）关联规则算法在交通数据中的应用 　　关联规则挖掘算法主要是对内在的数据关系进行挖掘，关联规则用于分析人口普查、购物篮等系统数据，可以产生一些对实际问题有意义的规则已经证明了。在交通数据中该文在分析关联规则算法的应用时，在交通事故数据中应用该方法，交通事故中挖掘出各个属性的内在联系。挖掘交通数据中各种属性常见的一种方法是关联规则算法，可能引起交通事故发生的原因比如车辆属性、驾驶员属性、天气