数据挖掘与知识发现-李雄飞-教学课件5.pptVIP

数据挖掘与知识发现(第2版) (40-*) 贝叶斯网络分类器 例5.1 使用朴素贝叶斯分类预测未知样本的类标号。给定Playtennis的训练样本集见表5.3。使用朴素贝叶斯分类来预测在＜Outlook=Sunny, Temperature=Hot, Humidity=High, wind=Strong＞的情况下，是否打球。 数据挖掘与知识发现(第2版) (40-*) 贝叶斯网络分类器 解：要分类的未知样本为： X =＜Outlook=Sunny, Temperature=Hot, Humidity=High, wind=Strong＞ 每个类的先验概率P(Ci)可以根据训练样本计算： P(Playtennis=“yes”) = 9/14 = 0.643 P(Playtennis=“no”) = 5/14 = 0.357 为计算P(X |Ci)，i=1, 2，先计算下面的条件概率： P(Outlook=“Sunny”| Playtennis =“yes”) = 2/9 = 0.222 P(Outlook=“Sunny”| Playtennis =“no”) = 3/5 = 0.600 P(Temperature=“hot”| Playtennis =“yes”) = 2/9 = 0.222 P(Temperature=“hot”| Playtennis =“no”) = 2 /5 = 0.400 P(Humidity=“high”| Playtennis =“yes”) = 3/9 = 0.333 P(Humidity=“high”| Playtennis =“no”) = 4/5 = 0.800 P( Windy=“Strong”| Playtennis =“yes”) = 3/9 = 0.333 P( Windy=“Strong”| Playtennis =“no”) = 3/5 = 0.600 利用以上概率，可以得到： P(X | Playtennis =“yes”) = 0.222×0.222×0.333×0.333 = 0.005 P(X | Playtennis =“no”) = 0.600×0.400×0.800×0.600 = 0.115 P(X | Playtennis =“yes”) P(Playtennis =“yes”) = 0.005×0.643 = 0.003 P(X | Playtennis =“no”) P(Playtennis =“no”)= 0.115×0.357 = 0.041 因此，将样本X指派给类C2：Playtennis =“no”。 即不去打球。 数据挖掘与知识发现(第2版) (40-*) 贝叶斯网络分类器 半朴素贝叶斯分类器 (Semi-Naive Bayesian Classifier, SNBC) 依照一定的标准将关联程度较大的特征属性合并在一起组合成新属性，各个组合属性之间也是相对于类别属性相互独立的。这里合并并不是真正上的合并，只是在计算中体现出来，是概念层次上的一个抽象过程。 SNBC模型限制网络的结构复杂度。 计算推导过程与朴素贝叶斯相同。 数据挖掘与知识发现(第2版) (40-*) 贝叶斯网络分类器 选择贝叶斯分类器(Selective Na?ve Bayesian Classifier) 使用属性集的子集作为决策过程中的属性结点，即选择贝叶斯分类器选择初始特征的子集作为属性结点。它通过搜索特征空间，去掉特征间具有较强依赖关系的属性。 应该着重考虑的问题： l. 搜索方向的选择 向前搜索是从空集开始，逐渐添加新的属性； 向后搜索是从整个属性集开始，逐渐移走相应的属性。 2. 搜索策略的选择。 算法考虑新增加的属性对分类性能的影响，选取最好的属性添加到当前的属性集中，然后继续下一次选择。贪婪搜索在最坏情况下的复杂度为O(m2)。 3. 各种属性子集下算法性能的度量准则 采用Leave-one-out技术从训练集中估计算法的精度，是交叉验证法中最精确的一种估计方法。 4. 停止搜索的标准。 当对新添加的任何属性都不能提高分类精度时，停止搜索； 只要分类精度不减少，就继续选择其他的属性加入到属性集中。 数据挖掘与知识发现(第2版) (40-*) 贝叶斯网络分类器 树增广朴素贝叶斯网络分类器(Tree Augmented Naive Bayesian, TAN) 扩展朴素贝叶斯的结构，使其能容纳属性间存在的依赖关系，但对其表示依赖关系的能力加以限制。 基本思想： 基于朴素贝叶斯分类器，在属性之间增添连接弧，称为扩展弧。 从结点Xi到Xj的扩展弧表示属性Xj对分类的影响也取决于Xi的