基于主成分分析朴素贝叶斯和决策树比较.docVIP

基于主成分分析朴素贝叶斯和决策树比较 　　摘要:朴素贝叶斯和决策树由于其较高的分类性能和简单性得到了广泛的使用,许多学者都在研究如何在分类前对数据进行处理以提升它们的分类性能。该文首先使用主成分分析提取特征数据,然后对处理后的数据上利用朴素贝叶斯和决策树进行分类,并对实验结果进行分析,比较主成分分析对它们分类性能的影响。 　　关键词:朴素贝叶斯分类器;决策树;分类;主成分分析 　　中图分类号:TP274文献标识码:A文章编号:1009-3044(2010)01-222-03 　　The comparison of Naive Bayesian and Decision Tree Based on Principal Component Analysis 　　ZHANG Lin, SHI Hong-bo 　　(Information Management, Shanxi University of Finance Economics, Taiyuan 030006, China) 　　Abstract: Naive Bayes and decision tree classifications have been widely used due to their high performance and simplicity, and many scholars are studying how to process the data before classification in order to enhance the performance of their classification. This article first extracted feature data using principal component analysis, and then processed the data on the use of naive Bayes and decision tree classifications,and experimental results were analyzed and compared the impact of the principal component analysis on their classification performance. 　　Key words: na??fve bayesian classifier; decision tree; classify; principal components analysis 　　分类是数据挖掘中的一个重要研究课题,分类的目的是生成分类函数或分类模型,并把数据库中的数据项映射到某个给定类别中,从而实现对数据的分类。目前有许多分类方法和技术用于构造分类模型,如决策树、决策表、神经网络、支持向量机、遗传算法、朴素贝叶斯方法等。朴素贝叶斯分类模型[1-3]假定特征向量的各分量相对于决策属性是相对独立的(即条件独立性假设)且属性重要性相等。决策树分类模型[4-6]根据属性的信息增益构建树模型,利用树模型对新样本分类。在实际的应用中,由于各属性之间具有明显的依赖性,并且各个属性的重要性是不相等的,这在一定程度上限制了朴素贝叶斯分类模型的使用范围。 　　人们通过各种途径来研究改善朴素贝叶斯和决策树的分类性能,但是很少有人研究对数据集先压缩然后应用朴素贝叶斯分类和决策树的方法,本文研究了对原始数据进行主成分分析,通过变换达到属性约简和减小属性相关性的目的,突破了属性重要性相等的限制,利用朴素贝叶斯分类算法和决策树算法对原始数据集和变换后数据集分别分类,并对实验结果进行分析讨论。 　　1 主成分分析 　　1.1 主成分分析的基本思想 　　主成分分析[7-10](principal components analysis)是由Hotelling于1933年首先提出的。主成分分析的思想:通过线性组合的方式,快速的提取多个相关属性地信息。当第一个线性组合不能提取更多的信息时,再考虑用第二个线性组合继续快速提取的过程,直到所提取的信息与原指标最接近时为止。一般说来,在主成分分析适用的场合中,用较少的主成分就可以得到较多的信息量。以各个主成分为分量,就得到一个更低维的随机向量;因此,通过主成分既可以降低数据“维数”又保留了原数据的大部分信息。 　　1.2 主成分分析的数学模型 　　原始数据矩阵X的p个属性X1,…,Xp作线性组合如下: 　　 　　矩阵表示为: 　　Y=UX 　　这里 　　 　　且满足: 　　1)矩阵U的每一行都是单位行向量,即 　　,(i=1,2,…,p) 　　2)Yi与Yj(i≠j,