贝叶斯分类器在机器学习中研究.docVIP

贝叶斯分类器在机器学习中研究 　　摘要：贝叶斯分类器作为机器学习中的一种分类算法，在有些方面有着其优越的一面，在机器学习中有着广泛的应用，本文通过对机器学习中贝叶斯分类器的解析，指出了贝叶斯分类器在机器学习中的适用方面和不足之处。使其能更加清楚认识了解贝叶斯算法，并能在适合的方面使用贝叶斯算法。 　　关键词：机器学习 贝叶斯算法适用 　　1. 引言 　　机器学习是计算机问世以来，兴起的一门新兴学科。所谓机器学习是指研究如何使用计算机来模拟人类学习活动的一门学科，研究计算机获得新知识和新技能，识别现有知识，不断改善性能，实现自我完善的方法，从而使计算机能更大性能的为人类服务。 　　机器学习所适用的范围广阔，在医疗、军事、教育等各个领域都有着广泛的应用，并发挥了积极的作用。而分类是机器学习中的基本问题之一，目前针对不同的分类技术，分类方法有很多，如决策树分类、支持向量机分类、神经网络分类等。贝叶斯分类器作为机器学习分类中的一种，近年来在许多领域也受到了很大的关注，本文对贝叶斯分类器进行总结分析和比较，提出一些针对不同应用对象挑选贝叶斯分类器的方法。 　　2. 贝叶斯公式与贝叶斯分类器： 　　2.1贝叶斯公式： 　　在概率论方面的贝叶斯公式是在乘法公式和全概率公式的基础上推导出来的，它是指设■是样本空间Ω的一个分割，即■互不相容，且 ，如果■，■， ■，则 　　，■ 　　这就是贝叶斯公式，■称为后验概率，■为先验概率，一般是已知先验概率来求后验概率，贝叶斯定理提供了“预测”的实用模型，即已知某事实，预测另一个事实发生的可能性大小。 　　2.2 机器学习中的贝叶斯法则： 　　在机器学习中，在给定训练数据D时，确定假设空间H中的最佳假设，我们用■来代表在没训练数据前假设■拥有的初始概率。■为■的先验概率，用■代表将要观察训练数据D的先验概率，以■代表假设■成立的情况下观察到数据D的概率，以■为给定训练数据D时■成立的概率，■称为■的后验概率，机器学习中的贝叶斯公式为： 　　学习器考虑候选假设集合H并在其中寻找给定数???D时可能性最大的假设，称为MAP假设，记为■，则 　　■ 　　2.3 贝叶斯分类器 　　贝叶斯分类器是用于分类的贝叶斯网络。该网络中应包含类结点C ，其中C的取值来自于类集合（ c1， c2，…， cm） ，还包含一组结点X = （ X1， X2，…， Xn） ，表示用于分类的特征。对于贝叶斯网络分类器，若某一待分类的样本D ，其分类特征值为 　　x = （ x1， x2，…， xn） ， 　　则样本D属于类别ci的概率 　　P （ C = ci|X1= x1， X2= x2，…， Xn= xn） ， （ i = 1 ， 2 ，…， m ） 　　应满足下式： 　　P （ C = ci|X = x ） = Max{ P （ C = c1|X = x ） ， P （ C = c2|X = x ） ，…， P （ C = cm|X = x ） } 　　而由贝叶斯公式 　　其中， P （ C = ci） 可由经验得到，而P （ X = x |C = ci） 和P （ X = x ）的计算则较困难。应用贝叶斯网络分类器进行分类主要分成两阶段：第一阶段是贝叶斯网络分类器的学习，即从样本数据中构造分类器，包括结构学习和CPT学习；第二阶段是贝叶斯网络分类器的推理，即计算类结点的条件概率，对分类数据进行分类。这两个阶段的时间复杂性均取决于特征值间的依赖程度，甚至可以是NP完全问题，因而在实际应用中，往往需要对贝叶斯网络分类器进行简化。 　　本节小结：本节讲解了从数学中的贝叶斯公式及在机器学习中贝叶斯法则在机器学习中是如何应用的，使读者清楚了解了贝叶斯的应用方面是比较广泛的，贝叶斯不论是在数学领域，还是在机器学习中都有着重要地位，因此掌握贝叶斯法则是很有必要的。 　　3. 贝叶斯最优分类器与朴素贝叶斯分类器 　　3.1 贝叶斯最优分类器 　　“给定训练数据，对新实例的最可能分类是什么？”新实例的最可能分类可通过合并所有假设的预测得到，用后验概率来加权。如果新样例的可能分类可取某集合V中的任一值■，那么概率■表示新实例的正确分类为■的概率，其值为： 　　新实例的最优分类为使■最大的值■，则 　　按上式分类新实例的系统被称为贝叶斯最优分类器。使用相同的假设空间和相同的先验概率，使用贝叶斯最优分类器是最好的，它能使新实例被正确分类的可能性达到最大。 　　3.2 朴素贝叶斯分类器 　　朴素贝叶斯分类器是贝叶斯学习方法中实用性很高的一种，朴素贝叶斯对于数据的分类过程如下： 　　对每个实例x可由属性值的合取描述，而目标函数f（x）从某有限集合V中取值。学习器被提供一系列关于目标函数的训