人工智能原理不精确推理.ppt

一致的估计 拒绝采样方法能产生真实概率的一致估计 估计的概率在无限多(大量样本的极限)条件下成为精确值，这样的估计称为一致的(consistent)，即 P(x1,…,xm)=NPS(x1,…,xm)/N 第7章 不精确推理 似然加权方法(1) 对证据节点的概率进行似然加权，即按照先验概率的乘积进行计算 / 对非证据节点进行采样，采样样本服从先验概率分布 例子：求P(rain|sprinkler=T,wetGrass=T)的概率 采样过程如下： (1)权值w=1.0 (2)P(cloudy)=0.5 0.5，据此采样，返回T (3)Sprinkler是证据变量，取值T，则 w←w*P(sprinkler=T|cloudy=T)=1.0*0.1=0.1 第7章 不精确推理 似然加权方法(2) (4)P(rain|cloudy=T)=0.8 0.2，据此进行采样，假设=T (5)wetGrass是证据变量，取值T，则有 w←w*P(wetGrass=T|sprinkler=T,rain=T) =0.1*0.99=0.099 此即{cloudy sprinkler rain wetGrass}={T T T T} =0.099 / 解释：sprinkler=T wetGrass=T条件下rain=T的概率很低 似然加权方法也得到对于真实概率的一致估计 / 从采样与加权的乘积去理解联合分布概率的计算，依然是全部条件概率的乘积 第7章 不精确推理 马尔科夫链采样(1) 直接采样法按照先验概率去采样 马尔科夫链采样对证据变量以外的变量每次随机地采样 举例：考虑求P(rain|sprinkler=T,wetGrass=T) 证据变量固定—sprinkler=T/wetGrass=T 隐变量cloudy/rain则随机采样—初始值不妨假设cloudy=T/rain=F 初始状态=T T F T 第7章 不精确推理 马尔科夫链采样(2) 然后反复按照以下2个步骤采样 (1)当前条件下X T F T对cloudy随机采样，结果=F T F T (2)当前条件下F T X T对rain随机采样，结果=F T T T 最后得到若干样本，例如[rain=T]=20 / [rain=F]=60，则P(rain|sprinkler=T,wetGrass=T)= ?20, 60=0.25 0.75 (?) 第7章 不精确推理 马尔科夫链采样的合理性(1) 马尔科夫链采样过程最终会进入“动态平衡”状态—被采样变量服从马尔科夫覆盖下的条件概率分布，且“稳态分布”=真实后验概率P(x|e) 我们所需要求解的正是给定证据变量e下某个变量的概率值P(x|e) 证明过程： 转移概率—状态x到状态x’ q(x→x’) 时刻t处于状态x的概率 ?t(x) 第7章 不精确推理 马尔科夫链采样的合理性(2) 下一时刻处于状态x’的概率 ?t+1(x’)=∑x?t(x)q(x→x’) 稳态分布(stationary distribution)—当?t+1(x’)=?t(x’)时，马尔科夫链达到稳态分布，即(省略t) ?(x’)=∑x?(x)q(x→x’) 对于所有x’ 细致平衡—任意两个状态间沿两个方向转换概率相等 ?(x)q(x→x’)=?(x’)q(x’→x) 对于所有x, x’ 简单公式推导(求和)可证明细致平衡中蕴含着稳态分布 第7章 不精确推理 马尔科夫链采样的合理性(3) 前述马尔科夫链采样过程称为Gibbs采样器，其转移概率写为： q(x→x’)=q((xi,~xi)→(xi’,~xi))=P(xi’|~xi,e) 由此证明满足细致平衡(p398)，也就是稳态分布 而P(xi’|~xi,e)正是所求的贝叶斯网络中条件概率—最终每个时刻的状态概率值都相同 第7章 不精确推理 7.4 可信度方法*7.4.1 可信度定义与性质7.4.2 证据不确定下CF的计算7.4.3 可信度推理例子 第7章 不精确推理 6.4 可信度方法 可信度方法的原则—Mycin系统设计时考虑了如下一些原则： (1)用接近统计理论的近似方法； (2)用专家经验估计代替统计数据； (3)尽量减少经验估计； (4)适用于证据增量式增加的情况； (5)数据的轻微扰动不影响最终的推理结论 证据理论是其基础(Dempster-Shafer) 第7章 不精确推理 确认理论为基础 以确认理论为基础，和概率理论的区别： 设E为证据，H为假设，则概率论公式为 P(H|E)+P(?H|E)=1 CF(certainty factor)表示确认理论下的定量可信度，则有公式 CF(H|E)+CF(?H|E)=0 含义：E肯定了H(=1)就同时否定了?H (=-1) 第7章 不精确推理