基于特征加权的朴素贝叶斯分类器.pdfVIP

维普资讯 第23卷 第l0期 计 算 机 仿 真 2006年10月 文章编号：1006—9348(2006)10—0092—03 基于特征加权的朴素贝叶斯分类器 程 克非 ．张 聪 (1．重庆邮电学院计算机科学系，重庆400065； 2．重庆交通学院计算机科学系，重庆400074) 摘要：朴素贝叶斯分类器是一种广泛使用的分类算法，其计算效率和分类效果均十分理想。但是，由于其基础假设 “朴素贝 叶斯假设”与现实存在一定的差异，因此在某些数据上可能导致较差的分类结果。现在存在多种方法试图通过放松朴素贝 叶斯假设来增强贝叶斯分类器的分类效果，但是通常会导致计算代价大幅提高。该文利用特征加权技术来增强朴素贝叶斯 分类器。特征加权参数直接从数据导出，可以看作是计算某个类别的后验概率时，某个属性对于该计算的影响程度。数值实 验表明，特征加权朴素贝叶斯分类器 (FWNB)的效果与其他的一些常用分类算法，例如树扩展朴素贝叶斯 (TAN)和朴素贝 叶斯树(NBTree)等的分类效果相当，其平均错误率都在17％左右；在计算速度上，FWNB接近于NB，比TAN和NBTree快至 少一个数量级。 关键词：贝叶斯分类器；朴素贝叶斯分类器；特征加权 中图分类号：TP391．4 文献标识码 ：A NaiveBayesianClassifiersUsingFeatureW eighting CHENG Ke—fei，ZHANG Cong (1．Dep．ofCS．，ChongqingUniversityofPosts＆Telcommunications，Chongqing400065，China； 2．Dep．ofCS．ChongqingJiaotongUniversity，Chongqing400074，China) ABSTRACT：NaiveBayesian classifiers are widely used in machine learning due to their computational efficiencyandcompetitiveaccuracy．However，theirconditionalattributeindependenceassumptioncanresultin badperformancein realworldproblems．A numberoftechniqueshave explored thesimplerelaxationsofthe attributeindependenceassumptiontoincreaseaccuracy，butalwayscostmuchmorecomputing time．In this paper，we investigateenhancementofnaive Bayes classifierusing feature weightingtechnique． Thefeature weightingcoefficientsaredirectlyinducedfrom dataset，andcanberegardedasthesignificanceofeachattribute whenevaluating theposteriorprobability ofthe particularclassvalue．Experimentresultsshow thatthe new algorithm— FeatureWeightingNaiveBayes(FWNB)canreachthesameclass