第4章Bayes课件知识讲解.pptVIP

统计建模 阴晴 温度 湿度 刮风 玩 sunny cool high true ? 通过已有的数据来判断新的一天玩的情况 统计建模 假设我们认为天气数据表中的5个属性是同等重要、彼此独立的，则将与其对应的分数相乘 yes的似然：2/9*3/9*3/9*3/9*9/14=0.0053 no的似然：3/5*1/5*4/5*3/5*5/14=0.0206 贝叶斯规则 新的一天要么可以玩，要么不可以玩。所以通过规范化将这两个结果转换成概率，使它们的概率之和为1。 yes的概率=0.0053/(0.0053+0.0206)=20.5% no的概率=0.0206/(0.0053+0.0206)=79.5% 对于这个新的一天，玩是no的可能性是yes的4倍 以上的简单而且直观的方法基于有条件概率的贝叶斯规则。 贝叶斯规则 贝叶斯规则指出，如果存在一个假说H，和基于假设的例证E，则 Pr[A]指事件A发生的概率，Pr[A|B]是基于另一事件B发生，事件A发生的概率。假说H为玩的结果是yes，那么Pr[H|E]将是20.5% 贝叶斯规则 例证E是新的一天的属性值的特定组合：阴晴=sunny，温度度=cool，湿度=high，刮风=true。这4个例证分别用E1、E2、E3和E4表示。 假设这些例证是独立的，将概率相乘后就得到它们的组合概率： 分母部分会在最后的单位化步骤中被消除。 贝叶斯规则 最后的Pr[yes]是在不知道任何例证E的情况下，结论是yes的概率，也就是对于所涉及的特定日期的情况一无所知，称为假说H的先验概率。 在这个例子中，先验概率是9/14，因为14个训练样本里有9个样本的玩属性是yes。 朴素贝叶斯 这种方法称为朴素贝叶斯(Na?ve Bayes)，因为它基于贝叶斯规则并“朴素”地假设属性独立。 只有当事件彼此独立时，概率相乘才是有效的 属性独立的假设，在现实生活中是过于简单的假设，但在实际数据集上进行测试时，朴素贝叶斯工作的非常好，尤其是去掉输入属性中的冗余成分后 朴素贝叶斯 如果某个属性值没有联合每一个类值一起出现在训练集里，朴素贝叶斯法将出错。 在一个不同的天气数据集中，所有训练数据的属性值阴晴=sunny，总是伴随结论no。 属性值阴晴=sunny是yes的概率Pr[sunny|yes]是0。概率0会超过其它的概率掌握了否决权。 根据频率来计算概率的方法进行小的调整，可以弥补这个缺陷。 ， 上表中给出了每个属性的每种取值对应的频率。在每个分子上加上1，在分母上加上所有取值的总个数。 例如对于阴晴属性，sunny、overcast和rainy出现的频率分别是2/9、4/9、3/9。给每个分子加上1，分母加上3，得到的概率分别是 3/12、5/12、4/12 在每个分子上加1保证当一个属性值出现0次时，得到一个很小但是非0的概率。 在每一个计数结果上加1的方法是一个标准的技术，称为拉普拉斯估计器(Laplace estimator)。 更一般的，使用一个很小的常量μ 在实践中，只要训练实例的数量合理，使用不同的μ几乎没有差别。 残缺值 使用贝叶斯公式的一个优势是可以很自然地处理残缺值。 例如如果表中阴晴的属性是残缺值，计算时只要省略这个属性，结果是： yes的似然=3/9*3/9*3/9*9/14=0.0238 no的似然=1/5*4/5*3/5*5/14=0.0343 这两个值分别比前面的计算值大很多，原因是缺少了其中的一个分数。不过问题在于最终还要做规范化 yes的似然41%，no的似然59%， Microsoft Naive Bayes 算法 Microsoft Naive Bayes 算法是 SSAS 提供的一种分类算法，用于预测性建模。 该算法在假定列互不相关的前提下计算输入列和可预测列之间的条件概率。 该算法的名称 Naive Bayes 即由这一无关性假定而来，因为基于这种理想化的假定，该算法未将可能存在的依赖关系考虑在内。 Microsoft Naive Bayes 算法 与其他 Microsoft 算法相比，该算法所需的运算量小，因而能够快速生成挖掘模型，以发现输入列和可预测列之间的关系。 可以使用该算法进行初始数据探测，然后根据该算法的结果使用其他运算量较大、更加精确的算法创建其他挖掘模型。 示例 作为正在进行的促销策略，Adventure Works Cycle 公司的市场部已经决定通过发送宣传资料将目标定位为潜在的客户。 为了降低成本，他们只向有可能做出反应的客户发送宣传资料。 该公司将有关客户统计数据以及对上一邮件的反映的信息存储在数据库中。他们希望利用这些数据将潜在客户和具备相同特征并曾经购买过公司产品的客户进行对比，以了解年龄和位置等统计