加权朴素贝叶算斯法及其weka程序分析20151216a.docxVIP

局部加权朴素贝叶斯算?法及其Weka程序分?析张伟(北京交?通大学计算机与信息技?术学院，北京，100?044)摘要：局?部加权朴素贝叶斯是一?种改进朴素贝叶斯算法?独立性假设缺陷的算法?．通过实验证明加权朴?素贝叶斯算法具有很好?的效果，比朴素贝叶斯?和K最近邻方法的效果?都要好。关键字：?局部加权，朴素贝叶斯?在机器学习中直?接使用贝叶斯定理是不?现实的，因为训练集不?足以获得全概率分布的?准确估计。朴素贝叶斯?分类算法是一种优秀的?分类算法，但由于其必?须满足属性独立性假设?，使得该算法具有了一?定的局限性。局部加权?朴素贝叶斯算法为了从?该算法的弱点独立性假?设入手，对朴素贝叶斯?算法进行改进，提出了?一种基于K近邻法的局?部加权朴素贝叶斯分类?算法。实验表明该算法?提高了分类的可靠性与?准确率。1 局部?加权朴学习局部加权?学习（locally? weighted ?learning，简?称LWL），既可用于?回归问题（如局部加权?线性回归），又可用于?分类问题（如局部加权?朴素贝叶斯）。局部加?权分类是一种比较新的?方式，在一些实验中表?现出更高的准确率。分?类过程需要对训练实例?根据它们离测试实例的?距离进行加权。在传统?的加权学习算法中通常?使用欧几里德距离来度?量实例间的距离。局?部加权学习是方法是懒?惰学习（lazy l?earning）和基?于记忆学习（memo?ry-based l?earning）的一?种形式，它需要存储数?据集，当需要对一个新?实例进行处理，通过距?离函数计算训练实例和?测试实例的距离以确定?和测试实例相关的训练?实例的加权集合构，然?后用该集合构造一个新?的模型来处理新实例。?1.1局部加权朴素?贝叶斯原则上，贝叶?斯定理保证了对一个给?定属性值向量的新实例?的类标的最优预测。不?幸的是，直接将贝叶斯?定理用于机器学习是不?现实的，因为不可避免?训练数据不足以获得全?概率分布的精确估计。?为了使推理可行必须先?满足一些独立性假设。?朴素贝叶斯方法把独立?性假设发挥到了极致，?假定属性对于给定的类?标值是统计上独立的。?虽然这个假设在实际中?并不成立，朴素贝叶斯?在许多分类问题上表现?的非常好。此外，朴素?贝叶斯计算效率—训练?在实例个数和属性个数?上都是线性的且易于执?行。机器学习相关文?章开始关注朴素贝叶斯?学习算法归功于Cla?rk和Niblett?的有关CN2规则学习?的文章。在这篇文章中?他们在实验评估中使用?了一个简单的贝叶斯分?类器（朴素贝叶斯）作?为对比，朴素贝叶斯分?类器比其他更成熟的学?习算法表现更好。虽然?已经对朴素贝叶斯在一?些违反属性独立假设的?情况下具有良好表现进?行了解释，但一个基本?事实没有改变，那就是?当独立性假设不成立时?，概率估计精度和效果?都会下降。很多用于?提高朴素贝叶斯效果的?方法被提出，其中许多?方法在保持原算法的简?单性和计算高效性的同?时降低算法的“朴素性?”。Zheng和We?bb在这个领域的工作?进行了很好的总结。最?有效的方法包括：贝叶?斯网络的限制子类、结?合了属性选择的朴素贝?叶斯或者将朴素贝叶斯?模型结合到其他分类器?（例如决策树）。事?实证明局部加权的朴素?贝叶斯算法具有很好的?效果，比朴素贝叶斯和?K最近邻方法的效果都?要好。我们用来加权?朴素贝叶斯的方法是从?一项源于用来对非线性?回归模型进行估计的技?术中借鉴而来，线性回?归模型适合基于加权函?数的数据，这个加权函?数用来处理要进行预测?的实例。由于加权函数?随着每个需要处理的实?例改变，所以由此产生?的估计是非线性的。本?文我们研究了用于分类?的局部加权学习，局部?加权学习在机器学习中?没有得到很多关注。L?oader（1999?）和Hastie(2?001)从统计学角度?研究了所谓的“局部可?能性”方法，包括局部?加权线性逻辑回归和局?部加权密度估计。朴素?贝叶斯是用密度估计进?行分类的例子。和逻辑?回归相比它具有优势：?在属性个数上是线性的?，这是这种方法在具有?多属性的学习问题上具?有更高的计算有效性。?我们使用朴素贝叶斯?的方式和在局部加权线?性回归中使用线性回归?的方式一样：一个局部?朴素贝叶斯模型适合于?用来预测类属性实例（?我们称这个实例为测试?实例）的领域中的数据?集的子集。此领域中的?训练实例是加权的，距?离测试实例越远的例子?具有的权重越小。然后?一个分类器可以从朴素?贝叶斯模型获得，朴素?贝叶斯模型将测试实例?的属性值作为输入。?用来训练每个局部加权?朴素贝叶斯模型的数据?集的子集由最近邻算法?决定。用户指定的参数?k控制使用多少个实例?。这通过使用具有紧支?撑的加权函数和为k最?近邻的距离设定宽度（?或带宽）来实现。1?.2 属性处理令