朴素贝叶斯网络分类器.pptVIP

朴素贝叶斯网络分类法

朴素贝叶斯分类(NaiveBayesClassification)又称简单贝叶斯分类。?它将训练样本I分解成特征向量X和决策类别变量C。?类条件独立假定。假定特征向量的各分量相对于决策变量是独立的，即：各分量独立地作用于决策变量。

朴素贝叶斯分类的工作过程（1）用n维特征向量X={x1，x2，x3，…，xn}表示每个数据样本，用以描述对该样本的n个属性A1,A2,…An的度量。（2）假定数据样本可以分为m个类c1，c2，…，cm。（3）由于p(x)对于所有类都为常数，只需要p(x/Ci)p(Ci)最大即可。如果类的先验概率未知，根据贝叶斯假设，可取p(C1)=p(C2)=…p(Cn),从而只需p(X/Ci)最大化。（4）当数据集的属性较多时，假定类条件独立，则有

(5)朴素贝叶斯以后验概率作为分类指示，即输出条件概率最大值作为目标值。式5.20表明，通过观测条件概率p(xi/c),可以得到贝叶斯决策规则的等价形式对每个类Ci，计算p(x/Ci)p(Ci)。把样本x指派到类Ci的充分必要条件是p(x/Ci)p(Ci)p(x/Cj)p(Cj),1≤j≤m,j≠i也就是说，X被分配到使p(x/Ci)p(Ci)最大的类Ci。

例5.1使用朴素贝叶斯分类预测未知样本的类标号。给定Playtennis的训练样本集见表5.3.使用朴素贝叶斯分类来预测在Outlook=Sunny,Temperature=Hot,Humidity=High,Wind=Strong情况下是否打球。首先假设：?X=Outlook=Sunny,Temperature=Hot,Humidity=High,Wind=Strong?设C1对应于类Playtennis=yes;C2对应于类Playtennis=No

根据朴素贝叶斯分类方法，需要最大化P(X/Ci)P(Ci),i=1,2。每个类的先验概率P(Ci)可以根据训练样本计算P(playtennis=yes)=9/14=0.643P(playtennis=no)=5/14=0.357为计算P(X/Ci)，i=1,2,先计算下面的条件概率：p(Outlook=Sunny/playtennis=yes)=2/9=0.222p(Outlook=Sunny/playtennis=no)=3/5=0.600P(Temperature=Hot/playtennis=yes)=2/9=0.222P(Temperature=Hot/playtennis=no)=2/5=0.400

P(Humidity=High/playtennis=yes)=3/9=0.333P(Humidity=High/playtennis=no)=4/5=0.800P(Wind=Strong/playtennis=yes)=3/9=0.333P(Wind=Strong/playtennis=no)=3/5=0.600利用以上概率，可以得到P(x/playtennis=yes)=0.222*0.222*0.333*0.333=0.005P(x/playtennis=no)=0.600*0.400*0.800*0.600=0.115P(x/playtennis=yes)P(playtennis=yes)=0.005*0.643=0.003P(x/playtennis=no)P(playtennis=no)=0.115*0.357=0.041

因此，将样本X指派给类C2:playtennis=no.即在Outlook=Sunny,Temperature=Hot,Humidity=High,Wind=Strong情况下不去打球。