基于主成分分析提升朴素贝叶斯.pdfVIP

第25卷第4期增刊 仪 器 仪 表 学 报 2004年8月 基于主成分分析提升朴素贝叶斯 李海军 ‘王枉旋2 王利民2 苑森森 “ ，(烟台大学计算机学院 烟台 264005) “(吉林大学计算机科学与技术学院 长春 130012) 摘要 在特征属性相对于类属性统计独立时，朴素贝叶斯能达到最优的分类效率。但该条件独立性假设在许多现实问题中并 不成立 ，这将在某种程度上影响预测准确度。这里结合主成分分析(PCA)对原 进行 ，消除噪声并使数据分布具 有一定程度的独立特性。在UCI数据集上分别从独立性和预测准确度方面进行 好的效果。 关键词 模式识别 条件独立性假设 v 朴素妙斯， ImprovingPerformanceofNaiveBayesbyPrincipalComponentAnalysis LiHaijunWangZhengxuanWangLimingYuanSenmia02 (SchoolofComputer,YantaiUniversity,Yantai264005,China (CollegeofComputerScienceandTechnology,JilinUniversity,Changchun130012,China Abstract NaiveBayesisknowntobeoptimalifpredictiveattributesareindependentgiventheclass.Butthe conditionalindependenceassumptionisrarelyvalidinpracticallearningproblemsandwhenviolated,theclassifi- cationperformancemaybeaffectedtosomeextent.Theprincipalcomponentanalysis(PCA)isusedtomakedata sethavesomeindependencecharacteristicsandremovenoisefromdata.ExperimentalresultsonavarietyofUCI datasetssuggestgreatimprovementfromtheviewpointofpredictionaccuracyandindependenceassumption,re- spectively. Keywords Patternrecognition NaiveBayes Conditionalindependenceassumption PCA 属性的提取以简化网络结构，消除数据中的噪声。在 1 引 言 UCI机器学习数据库的实验结果验证了所提出的理 论与方法的有效性。 朴素贝叶斯(NaiveBayes，简称NB)建立在特征 属性相对于类属性统计独立的假设前提下，不仅以指 2 主成分分析(PCA) 数级降低了网络构造的复杂度，而且性能可以与神经 网络、决策树相比，广泛应用于模式识别、工业控制、经 定义{XL,Xn,C}是样本空间E的属性集。其中: 济预测、医疗诊断等诸多领域1^〔5]。但是在现实问题中 X,(i=1,L,m)是连续特征属性，X;(j=m+1,L,n)是 所需要处理的数据往往具有杂乱性、重复性、不完整 离散特征属性，C是类属性。其取值分别用相应的小写 性，这使得朴素贝叶斯的条件独立性假设很难满 字母表示。S、为连续属性集X={XL,X-}的所有样 足仁6-7]。如果直接应用将在一