朴素贝叶斯分类.doc

朴素贝叶斯分类 朴素贝叶斯分类或简单贝叶斯分类的工作过程如下： （1）每个数据样本用一个n维特征向量表示，分别描述对n个属性A1,A2,…An样本的n个度量。 （2）假定有m个类C1,C2,…Cm。给定一个未知的数据样本X（即没有类标号），分类法将预测X属于具有最高后验概率（条件X下）的类。即是说，朴素贝叶斯分类将未知的样本分配给类Ci，当且仅当 （7.6） 这样，最大化。其最大的类Ci称为最大后验假定。根据贝叶斯定理， （7.7） （3）由于P(X)对于所有类为常数，只需要最大即可。如果类的先验概率未知，则通常假定这些类是等概率的，即P(C1)=P(C2)=…=P(Cm)。并据此只对最大化。否则，最大化。注意，类的先验概率可以用计算其中si是类Ci中的训练样本数，而s是训练样本总数。 （4）给定具有许多属性的数据集，计算的开销可能非常大。为降低计算的开销，可以做类条件独立的朴素假定。给定样本的类标号，假定属性值相互条件独立，即在属性间，不存在依赖关系。这样， （7.8） 概率，，…可以由训练样本估值，其中 （a）如果Ak是分类属性，则，其中sik是在属性Ak上具有值xk的类Ci的样本数，而si是Ci中的训练样本数。 （b）如果Ak是连续值属性，则通常假定该属性服从高斯分布，因而， （7.9） 其中，给定类Ci的训练样本属性Ak的值，是属性Ak的高斯密度函数，而分别为平均值和标准差。 （5）为对未知样本X分类，对每个类Ci，计算。样本X被指派到类Ci，当且仅当 换言之，X被指派到其最大的类Ci。 贝叶斯分类的效率如何？理论上讲，与其它所有分类算法相比较，贝叶斯分类具有最小的出错率。然而，实践中并非总是如此。这是由于对其应用的假定（如类条件独立性）的不准确性，以及缺乏可用的概率数据造成的。然而种种实验研究表明，与判定树和神经网络分类算法相比，在某些领域，该分类算法可以与之媲美。 贝叶斯分类还可以用来为不直接使用贝叶斯定理的其他分类算法提供理论判定。例如，在某种假定下，可以证明正如朴素贝叶斯分类一样，许多神经网络和曲线拟合算法输出最大的后验假定。 例7.3使用朴素贝叶斯分类预测类标号： RID Age Income Student Credit_rating Class:buys_computer 1 =30 High No Fair No 2 =30 High No Excellent No 3 31…40 High No Fair Yes 4 40 Medium No Fair Yes 5 40 Low Yes Fair Yes 6 40 Low Yes Excellent No 7 31…40 Low Yes Excellent Yes 8 =30 Medium No Fair No 9 =30 Low Yes Fair Yes 10 40 Medium Yes Fair Yes 11 =30 Medium Yes Excellent Yes 12 31…40 Medium No Excellent Yes 13 31…40 High Yes Fair Yes 14 40 Medium No Excellent No 给定与判定树归纳相同的训练数据，我们希望使用朴素贝叶斯分类预测一个未知样本的类标号。训练数据在表7.1中。数据样本用属性age，income，student和credit_rating描述。类标号属性buys_computer具有两个不同值（即（yes,no））。设C1对应于类buys_computer=“yes”，而C2对应于类buys_computer=“no”。我们希望分类的样本为 我们需要最大化，i=1,2。每个类的先验概率P(Ci)可以根据训练样本计算： P(buys_computer=”yes”)=9/14=0.643 P(buys_computer=”no”)=5/14=0.357 为计算，i=1,2，我们计算下面的条件概率： P(age=”30”|buys_computer=”yes”) =2/9=0.222 P(age=”30”|buys_computer=”no”) =3/5=0.222 P(income=”medium”|buys_computer=”yes”) =4/9=0.444 P(income=”medium”|buys_computer=”no”) =2/5=0.400 P(student=”yes”|buys_computer=”yes”) =6/9=0.667 P(student=”yes”|buys_compu