贝叶斯算法及其应用.pptVIP

贝叶斯理论 简单的讲，贝叶斯定理是基于假设的先验概率、给定假设下观察到不同数据的概率，提供了一种计算后验概率的方法。 在人工智能领域，贝叶斯方法是一种非常有代表性的不确定性知识表示和推理方法。 先验概率：根据以往数据分析得到的概率叫先验概率; 后验概率：得到相关信息之后对以往数据重新修正的概率叫后验概率。 贝叶斯算法应用 目前，贝叶斯算法应用在很多地方，例如：文 本分类，问题分类，反垃圾邮件等等。有多种形式： 朴素贝叶斯 贝叶斯网络 ………… 朴素贝叶斯（NB）在文本分类中的应用 P（C/W） = P(C) * P(W/C) / P(W) 在文本分类中： 公式的左边，C代表的是文本的类别（例如是体育），W往 往是一个测试样本（例如某一篇新闻），P(C/W)代表的是这 个样本归属于该类别的概率，我们实际中的任务常常就是要 得到样本归属各个类别的概率值 P(C1/W),P(C2/W)...P(CN/W)，然后最大概率值所对应的类 别Ci就是该样本被分配的类。 朴素贝叶斯（NB）在文本分类中的应用 P（C/W） = P(C) * P(W/C) / P(W) P(W/C) 的计算方法： W这个样本往往是用向量表示的，包括了很多的分量 W = (w1, w2, w3,? ... wn)， 所以 P(W/C) = P(w1, w2, w3,? ... wn / C)，NB的核心在于它假设向量的所有分量之间是独立的。 有了这个假设，P(W/C)的计算就变为：????? P(W/C) = ∏ P(wi / C)假设Wi=“乔丹”，则P(Wi / C体育) 就是统计所有的体育文章中有多少篇出现了“乔丹”这个词，然后用 出现篇章数 / 所有体育篇章数就是我们要的概率值了。 小结 Na?ve Bayes是较快的一种分类方法，效果也较好。理论上错误率最低。 特别要注意的是： 朴素贝叶斯的核心在于 它假设向量的所有分量之间是独立的。 贝叶斯算法应用 目前，贝叶斯算法应用在很多地方，例如：文 本分类，问题分类，反垃圾邮件等等。有多种形式： 朴素贝叶斯 贝叶斯网络 ………… 贝叶斯网络 贝叶斯网络又叫概率因果网络、信任网络、知识图等，是一种有向无环图。贝叶斯网络用图形来表示变量间连接概率关系。是为了解决不定性和不完整性问题而提出的，在多个领域中获得广泛应用。 其中贝叶斯网络中节点表示领域变量；有向边表示结点间的依赖关系；对每一个节点都对应一个条件概率分布表，该分布表指明了该变量与父节点之间的依赖关系。 贝叶斯网络 因此，一个贝叶斯网络由2个部分构成： 贝叶斯网络 这是一个有向无环图可以看成 是一个贝叶斯网络。其中其中 每个圆圈表示一个状态。 状态之间的连线表示它们的 因果关系。这些关系可以有 一个量化的可信度 (belief)， 用一个概率描述，因此，贝叶斯 网络也称信念网络。通过这样的 一张网络可以估计出一个人得 心血管疾病的可能性 。（解释） 贝叶斯网络-条件独立性假设 有向图蕴涵了条件独立性假设。 贝叶斯网络规定图中的每个节点Xi 条件独立于由Xi的父节点给定的 非Xi后代节点构成的任何节点子集， 即如果用N(Xi)表示非Xi后代节点构成的任何节点子集，用Pa(Xi)表示Xi的直接双亲节点， 则：P(Xi|N(Xi), Pa(Xi)) = P(Xi| Pa(Xi)) 贝叶斯网络-条件独立性假设 完整的概率模型必须具有表示所研究变量的联合分布的能力。完全的联合分布表需要指数级的规模，n个节点需要O(2n)规模的概率表；由于贝叶斯网络假定了条件独立性，因此只需考虑与该变量相关的有限变量，可以大大简化问题的求解难度，从而使得许多复杂问题得到可行的解决方案。 贝叶斯网络的应用 贝叶斯网络在图像处理、文字处理、支持决策等方面有很多应用。在文字处理方面，语义相近的词之间的关系可以用一个贝叶斯网络来描述。我们利用贝叶斯网络，可以找出近义词和相关的词，在 Google 搜索和 Google 广告中都有直接的应用。 贝叶斯网络的具体应用-词义分类 贝叶斯网络作为分类器和其他的分类器相比有两个优点。 其一,网络容易建立,没有结构学习过程,只需 要先验概率就可以完成计算; 其二,该分类过程十分高效。 贝叶斯网络的具体应用-词义分类 词义消歧是一个典型的词义分类过程。设s1 ,s2 , ?, sm 是待分类的词义序列, Vcontext是测试样本中的特征集,在贝叶斯网络模型中特征值选用歧义词语的上下文。 如果P( s′|Vcontext) P( si |