第三周决策树跟boosting-tostu资料.pptVIP

* * * * * * * * * * * * * * * * * 朴素贝叶斯分类 简单假定: 属性有条件地相互独立 (即属性之间不存在依赖关系): 如果 Ak 是分类属性, 则P(xk|Ci)是D中属性Ak的值为xk的Ci类的元组数除以D中Ci类的元组数 |Ci, D| 如果 Ak 是连续值属性, P(xk|Ci) 通常基于均值μ 和标准差σ 的高斯分布计算（假定连续值属性服从均值为μ 、标准差为σ 的高斯分布），由下式定义 * 朴素贝叶斯分类 Class: C1:buys_computer = ‘yes’ C2:buys_computer = ‘no’ 待分类数据: X = (age =30, Income = medium, Student = yes, Credit_rating = Fair) * 朴素贝叶斯分类: 例子 P(Ci): P(buys_computer = “yes”) = 9/14 = 0.643 P(buys_computer = “no”) = 5/14= 0.357 为每个类计算 P(X|Ci) P(age = “=30” | buys_computer = “yes”) = 2/9 = 0.222 P(age = “= 30” | buys_computer = “no”) = 3/5 = 0.6 P(income = “medium” | buys_computer = “yes”) = 4/9 = 0.444 P(income = “medium” | buys_computer = “no”) = 2/5 = 0.4 P(student = “yes” | buys_computer = “yes) = 6/9 = 0.667 P(student = “yes” | buys_computer = “no”) = 1/5 = 0.2 P(credit_rating = “fair” | buys_computer = “yes”) = 6/9 = 0.667 P(credit_rating = “fair” | buys_computer = “no”) = 2/5 = 0.4 X = (age = 30 , income = medium, student = yes, credit_rating = fair) P(X|Ci) : P(X|buys_computer = “yes”) = 0.222 x 0.444 x 0.667 x 0.667 = 0.044 P(X|buys_computer = “no”) = 0.6 x 0.4 x 0.2 x 0.4 = 0.019 P(X|Ci)*P(Ci) : P(X|buys_computer = “yes”) * P(buys_computer = “yes”) = 0.028 P(X|buys_computer = “no”) * P(buys_computer = “no”) = 0.007 因此, X 属于类(“buys_computer = yes”) * 避免零概率问题 朴素贝叶斯分类预测需要每个条件概率是非零的，否则，预测概率将会为零 例如，假设一个具有1000个元组的数据集, income=low (0), income= medium (990), 和 income = high (10) 使用拉普拉斯校准 (或拉普拉斯估计法) 每个组元组数加1 Prob(income = low) = 1/1003 Prob(income = medium) = 991/1003 Prob(income = high) = 11/1003 “校准的”概率估计与对应的“未校准的”估计很接近 * 朴素贝叶斯分类: 评价 优点 易于实施 大部分情况下可以获得好的结果 缺点 假设: 类条件独立，因此损失准确性 实际中, 属性之间经常存在依赖性 属性之间存在依赖的情况不能通过朴素贝叶斯分类建模 怎么处理这些依赖性? 贝叶斯信念网络 * 分类: 基本概念 分类: 基本概念 决策树 基于规则分类 贝叶斯分类方法 提高分类准确率的技术 小结 组合方法: 提高分类准确率 组合方法 把k个学习得到的模型, M1, M2, …, Mk, 组合在一起，旨在创建 一个改进的复合分类模型M* 流行的组合方法 装袋: 在一组分类器上平均预测 提升: 基于一组分类器的加权表决 * 给定一个待分类元组X，它收集由基分类器返回的类标号预测，并输出占多