朴素贝叶斯算法.pptVIP

模板来自于 / * 朴素贝叶斯算法 Naive Bayes 算法流程图 朴素贝叶斯算法原理 01 贝叶斯定理 朴素贝叶斯算法流程 02 购买电脑实例 03 朴素贝叶斯算法存在的问题及应用 04 Table of Contents 内容大纲 朴素贝叶斯算法原理 朴素贝叶斯算法是分类算法中的一种。朴素贝叶斯的思想基础是这样的：对于给定的待分类项 ， 求解在此项出现的条件下各个类别 出现的概率，哪个 最大。就把此待分类项归于哪个类别。 通俗来说，就好比你在街上看到一个黑人，我问你你猜这个人哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。 条件概率： 表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为： 为了得出 ，我们不加证明的给出贝叶斯定理。 贝叶斯分类的基础——贝叶斯定理 先验概率和后验概率 先验概率：由以往的数据分析得到的概率。 后验概率：得到信息之后再重新加以修正的概率。 朴素贝叶斯算法流程 1.设 为一个待分类项，而每个 为 的一个特征属性。且特征属性之间相互独立（此处是朴素贝叶斯的假设）。 2.设 为一个类别集合。 3.计算 。 4.如果 则 。 接下来，由于假设各个特征属性都是条件独立的，那么根据贝叶斯定理有如下推导，因为分母对于所有类别为常数，因此将分子最大化即可。 即： 朴素贝叶斯分类例子 RID age income student Credit rating Class: buys computer 1 =30 high no fair no 2 =30 high no excellent no 3 31-40 high no fair yes 4 40 medium no fair yes 5 40 low yes fair yes 6 40 low yes excellent no 7 31-40 low yes excellent yes 8 =30 medium no fair no 9 =30 low yes fair No 10 40 medium yes fair yes 11 =30 medium yes excellent yes 12 31-40 medium no excellent yes 13 31-40 high yes fair yes 14 40 medium no excellent no 数据样本用属性age, income, student 和credit rating 描述。类别属性buys computer 具有两个不同值（即{yes, no}）。设 对应于类buys computer = “yes”，而 对应于类buys computer = “no”。 我们分类的未知样本为： X = (age == 30, income =medium, student = yes, credit _ rating = fair). 1.我们需要最大化P(X | )P( )，i = 1,2。 每个类的先验概率P( )可以根据训练样本计算： P(buys_computer = yes) = 9/14 = 0.643 P(buys_computer = no) = 5/14 = 0.357 2.计算后验概率P(X | )， i = 1,2（假设属性独立） P(age = “30” | buys_computer = “yes”) =0.222 P(age = “30” | buys_computer = “no”) =0.600 P(income =“medium” |buys_computer =“yes”) =0.444 P(income = “medium” | buys_computer =“no”) = 0.400 P(student = “yes” | buys_computer =“ yes”) =0.667 P(student = “yes” | buys_computer =“no”) =0.20