AI04-不确定性推理2.pptVIP

本章主要内容 基本概念 确定性因子方法 Bayes 网络 Bayes 网络 基本概率推理 Bayes网 Bayes网络中的推理 概念(1) Bayes网络是用来表示变量间连接概率的图形模式，它提供了一种自然的表示因果信息的方法，用来发现数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。 80年代Bayes网络用于专家系统的知识表示，90年代进一步研究可学习的Bayes网络，用于数据采掘和机器学习。近年来， Bayes学习理论方面的文章更是层出不穷，内容涵盖了人工智能的大部分领域，包括因果推理、不确定性知识表达、模式识别和聚类分析等。并且出现了专门研究Bayes理论的组织和学术刊物。 Bayes具有坚实的数学理论基础，不确定性表示基本上保持了概率的表示方法，可信度计算也是概率计算方法，其推理过程称为概率推理 概念(2) 贝叶斯网络的特点： 双向推理能力（预测和诊断） 快速的调试和重构能力 具有较强的概率统计基础 用于人工智能和专家系统的不确定推理（优于早期的基于规则的模式）。 这种网络支持任何变量子集相对于另一子集的条件概率计算。 贝叶斯网络是领域中变量关系的直接表示，而不是推理过程。网络中的方向表示变量间真正的因果关系而不是推理过程的信息流向。 －－因此在贝叶斯推理过程中，推理过程可以沿任何方向进行（预测、诊断、解释。 从知识工程的角度讲，贝叶斯网络是用图形结构和数值参数来表示不确定性知识的知识系统，因而有时也称为因果网、信任网络和影响图。 Bayes 网络 基本概率推理 使用全概率进行推理 独立性 朴素Bayes公式 Bayes网 Bayes网络中的推理 使用全概率进行推理（1） 使用随机变量来描述问题领域 命题的先验概率：对应于有新的证据之前的信念 P(Cavity=true)=0.2 概率分布：对所有可能的分配赋予值 Weather=0.72,0.1,0.08,0.1 联合概率分布：对一组随机变量，对这组随机变量中的每个原子事件赋予概率 P(Weather, Cavity)=4*2的矩阵 使用全概率进行推理（2） 概率推理的一种简单方法：根据已经观察到的证据计算查询命题的后验概率 知识库为：全联合概率分布（关于每个原子事件的概率），可以从中得到所有问题的答案 例子： 对每个命题?，概率为?为真的原子事件概率之和 使用全概率进行推理（3） 边缘化：将随机变量的某个子集或某单个变量抽取出来，如求某个变量的无条件概率（边缘概率）的过程。该过程也称为求和消元过程。 P( cavity)= 0.108 + 0.012 + 0.072 +0.008 =0.2 对于任何两个变量集合Y和Z，通用边缘化规则为： 条件化： 边缘化规则从联合概率化为条件概率为： 使用全概率进行推理（4） 归一化 条件概率计算时，可以将分母看作归一化常量?： 基本思想：固定证据变量（toothache）,计算查询变量（cavity）的分布，并考虑隐含变量（catch，也称为非证据变量）把它们加起来。（这里?=0.2） 使用全概率进行推理（5） 通用的推理过程（仅查询一个变量） 令 X为查询变量，E为证据（e为其观察值），Y为隐含变量 则查询P(X|e)可以是对所有可能y的求和，即对Y的值的所有可能组合。 即该公式对所有X和Y的值进行循环枚举当e固定时所有可能的原子事件，然后根据全概率分布的概率表将它们的概率加起来，最后对结果进行归一化。 使用全概率进行推理（6） 特点：对于离散随机变量的概率查询比较好 缺点：规模扩展性不好：对于一个由n个Boolean变量所描述的域，它需要大小为O(2n)的概率表作为输入，同时还需要O(2n)的时间来处理这个表 表格形式的全联合概率分布对于建造推理系统而言不是实用的工具，但是可能可以作为构造有效系统的基础 使用全概率进行推理（7） The breakthrough came in early 1980s (Pearl 1986, 1988, Howard Matheson 1984) In a joint probability distribution, every variable is, in theory, directly related to all other variables. Pearl and others realized: It is often reasonable to make the assumption that each variabl