贝叶斯技术(姚宏亮)-1.pptVIP

合肥工业大学人工智能与数据挖掘研究室 高级人工智能 贝叶斯技术 贝叶斯网络是用来表示变量间连接概率的图形模式，它提供了一种自然的表示因果信息的方法，用来发现数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。 贝叶斯方法正在以其独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识的增量学习特性等成为当前数据挖掘众多方法中最为引人注目的焦点之一。 贝叶斯技术 贝叶斯（Reverend Thomas Bayes 1702-1761）学派奠基性的工作是贝叶斯的论文“关于几率性问题求解的评论”。 或许是他自己感觉到它的学说还有不完善的地方，这一论文在他生前并没有发表，而是在他死后，由他的朋友发表的。 著名的数学家拉普拉斯（Laplace P. S.）用贝叶斯的方法导出了重要的“相继律”，贝叶斯的方法和理论逐渐被人理解和重视起来。但由于当时贝叶斯方法在理论和实际应用中还存在很多不完善的地方，因而在十九世纪并未被普遍接受。 贝叶斯技术 二十世纪初，意大利的菲纳特（B. de Finetti）以及英国的杰弗莱（Jeffreys H.）都对贝叶斯学派的理论作出重要的贡献。 第二次世界大战后，瓦尔德（Wald A.）提出了统计的决策理论，在这一理论中，贝叶斯解占有重要的地位；信息论的发展也对贝叶斯学派做出了新的贡献。 1958年英国最悠久的统计杂志Biometrika全文重新刊登了贝叶斯的论文，20世纪50年代，以罗宾斯（Robbins H.）为代表，提出了经验贝叶斯方法和经典方法相结合，引起统计界的广泛注意，这一方法很快就显示出它的优点，成为很活跃的一个方向。 贝叶斯技术 随着人工智能的发展，尤其是机器学习、数据挖掘等兴起，为贝叶斯理论的发展和应用提供了更为广阔的空间。贝叶斯理论的内涵也比以前有了很大的变化。 80年代贝叶斯网络用于专家系统的知识表示； 90年代进一步研究可学习的贝叶斯网络，用于数据采掘和机器学习。 近年来，贝叶斯学习理论方面的文章更是层出不穷，内容涵盖了人工智能的大部分领域，包括因果推理、不确定性知识表达、模式识别和聚类分析等。并且出现了专门研究贝叶斯理论的组织和学术刊物ISBA 贝叶斯技术的应用领域 辅助智能决策 数据融合 模式识别 医疗诊断 文本理解 数据挖掘 统计概率 统计概率:若在大量重复试验中，事件A发生的频率稳定地接近于一个固定的常数p，它表明事件A出现的可能性大小，则称此常数p为事件A发生的概率，记为P(A), 即 p＝P(A) 可见概率就是频率的稳定中心。任何事件A的概率为不大于1的非负实数，即 0＜P(A)＜1 条件概率 条件概率:我们把事件B已经出现的条件下，事件A发生的概率记做为P(A|B)。并称之为在B出现的条件下A出现的条件概率，而称P(A)为无条件概率。 若事件A与B中的任一个出现，并不影响另一事件出现的概率，即当P(A)＝P(A·B)或P(B)＝P(B·A)时，则称A与B是相互独立的事件。 加法定理 两个不相容(互斥)事件之和的概率,等于两个事件概率之和,即 P(A+B)＝ P(A)＋P(B) 若A、B为两任意事件，则： 　　　　P(A+B)＝P(A)＋P(B)－P(AB) 乘法定理 设A、B为两个任意的非零事件，则其乘积的概率等于A(或B)的概率与在A(或B)出现的条件下B(或A)出现的条件概率的乘积。 　P(A·B)＝P(A)·P(B|A) 或 P(A·B)＝P(B)·P(A|B) 先验概率 后验概率 联合概率 全概率 贝叶斯规则 基于条件概率的定义 p(Ai|E) 是在给定证据下的后验概率 p(Ai) 是先验概率 P(E|Ai) 是在给定Ai下的证据似然 p(E) 是证据的预定义后验概率 因果贝叶斯网络的学习 模型学习 （1）给定一个样本集D＝ ，找到一个和D拟合的最好的网络结构 （2）评分函数用于评价网络与样本拟合程度 贝叶斯网络参数学习—EM算法 EM算法的图解 贝叶斯网络参数学习—EM算法 贝叶斯网络的结构学习 1.基于搜索评分的方法: （1）初始化贝叶斯网络为孤立节点 （2）使用启发式方法为网络加边 （3）使用评分函数评测新的结构是否为更好 贝叶斯评分（Bayesian Score Metric） 最小描述长度MDL(Minimal Description Length) 重复以上过程，直到找不到更好的结构 精典的算法有：K2算法、SEM算法等。 2.基于依赖分析的方法: 通过使用条件独立性检验conditional independ