交通系统综合平台中数据挖掘技术原理和在智能交通中的应用.docVIP

交通系统综合平台中数据挖掘技术原理和在智能交通中的应用 摘要:数据挖掘作为在综合信息平台的海量数据中有效而可靠地提取有决策价值的先进技术，已日益受到重视。本文首先介绍了数据挖掘的定义接着介绍了常用的数据挖掘方法，然后分析了数据挖掘的过程，最后提出了数据挖掘技术在综合信息平台中的典型应用及基于数据挖掘技术的交通信息集成模型。 关键词:智能交通系统；综合信息平台；数据挖掘；应用 0.引言 智能交通系统综合平台是为实现各ITS子系统间的数据共享、实现深层次的信息融合和知识发现而提供的综合平台。该平台能够接受、存储和处理多源、异构数据，具有数据融合、数据挖掘的功能，并能够为各种应用子系统和公众提供完善的信息服务。 目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势，缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。如何在综合信息平台中有效地进行数据挖掘成为智能交通系统发展的一个重要问题。 1. 数据挖掘的定义 数据挖掘，英文是Data Mining。关于它的一种比较公认的定义是:从大型数据库的数据中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息，提取的知识表示为概念(Concepts )、规则( Rules )、规律(Regularities )、模式(Patterns)等形式。 式。这种定义把数据挖掘的对象定义为数据库。 将数据挖掘工具与传统的数据分析工具进行比较，传统的数据分析工具是对过去情况的验证，而数据挖掘技术则是基于发现型的、预测型的，运用模式匹配等各种算法对数据之间的关系进行挖掘。 数据挖掘系统框架： 数据仓库 数据仓库 DB接口 发现描述 评价 数据挖掘系统管理器 数据 数据挖掘 选择 引擎算法 知识库 发现 分析员 元数据 领域知识 2.数据挖掘的方法 数据挖掘的研究融合了多个不同学科领域的技术与成果，使得目前的数据挖掘方法表现出多种多样的形式。从统计分析类的角度来说，统计分析技术中使用的数据挖掘模型有线形分析和非线形分析、回归分析、逻辑回归分析、单变量分析、多变量分析、时间序列分析、最近序列分析、最近邻算法和聚类分析等方法。利用这些技术可以检查那些异常形式的数据，然后，利用各种统计模型和数学模型解释这些数据，解释隐藏在这些数据背后的市场规律和商业机会。知识发现类数据挖掘技术是一种与统计分析类数据挖掘技术完全不同的挖掘技术，包括人工神经元网络、支持向量机、决策树、遗传算法、粗糙集、规则发现和关联顺序等。 2.1 统计方法 传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术、贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型， 在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。 2.2 关联规则 关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。它是由R．Agrawal等人首先提出的，最经典的关联规则的挖掘算法是Apriori，该算法先挖出所有的频繁项集，然后，由频繁项集产生关联规则，许多关联规则频繁项集的挖掘算法都是由它演变而来的，关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制，关联规则在数据挖掘领域最典型的应用是购物篮分析。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，所挖掘出的关联规则量往往非常巨大，但是，并不是所有通过关联得到的属性之间的关系都有实际应用价值，对这些关联规则进行有效的评价，筛选出用户真正感兴趣的，有意义的关联规则尤为重要。 2.3 聚类分析 聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法，凝聚算法，划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外，聚类分析还用于对孤立点的检测。有时进行聚类不是为了将对象相聚在一起而是为了更容易地使某个对象从其他对象中分离出来。聚类分析已被应用于经济分析、模式识别、图像处理等多种领域，尤其在商业上，聚类分析可以帮助市场人员发现顾客群中所存在的不同特征组群。聚类分析的技术关键除了算法的选择之外，就是对样本的度量标准的选择。并非由聚类分析算法得