人工智能4--bayes方法.ppt

主观Bayes方法 陈志华 主要内容 1. 概率论基础 2. 主观Bayes方法的基本理论 3. 主观Bayes方法的基本模型 前言 主观Bayes方法 一种不确定性推理算法 以概率论中的Bayes公式为基础 首先应用于专家系统PROSPECTOR系统 和前述推理方法的区别 不确定性推理 当一个或多个新证据出现时，根据推理规则，计算结论的可信度 推理前不知道结论的概率信息 主观Bayes方法（条件概率） 当一个事件发生后，先验概率如何转变为后验概率 推理前知道结论的先验概率信息 规则的表示不一样 1. 概率论基础 根据全概率公式及乘法定理可以得到Beyes公式: 2. 基本理论 主观Bayes方法的基本思想 由于证据E的出现，使得P (R)变为P(R|E) 主观Bayes方法,就是研究利用证据E，将先验概率P( R)更新为后验概率P(R|E) 先验概率P( R), 即不考虑证据E出现的前提下，结论结论R成立的概 2. 基本理论 一. 知识不确定性的表示（产生式规则） 其中 LS: 充分性量度 LN: 必要性量度 P(R) : R的先验概率 二. 基本算法 证据E有三种情形 1) 肯定存在，即P(E)=1 2) 肯定不存在， P(E)=0 3) 不确定， 0P(E)1 在不同的情形下，后验概率的计算方法不同 1) 证据E肯定存在 假设规则如下： IF E THEN R 根据乘法定理，得到 P(R|E)=P(E|R)P( R)/P(E) （式1） P(﹁R|E)=P(E|﹁R)P(﹁R)/P(E) 两式相除，得到： 定义几率函数： 则 设： 则式1变为 2) 证据E肯定不存在 P(E)=0 同样可以推导出 O(R|﹁ E)=LN× O( R) 其中 将O(x)重新替换成概率，得到： 讨论：O(x)与P(x)的单调性 O(x)与P(x)的单调性相同,　即可从数学上推导出： LS和LN的讨论 LS表示证据E的存在，影响结论R为真的概率： LN表示证据E的不存在，影响结论R为真的概率： O(R|﹁ E)=LN× O( R) 上述结论也可以直接从公式5,6推导出来 LS1，使得P(R|E)P(R) LS1, 使得P(R|E)P(R) LN1，使得P(R|﹁ E)P(R) LN1, 使得P(R|﹁ E)P(R) 例子 假设有如下规则: 规则1: IF E1 THEN(10,1) R1(0.03) 规则2: IF E2 THEN (20,1) R2(0.05) 规则3: IF E3 THEN (1,0.002) R3(0.3) 求(1) 当E1,E2,E3都存在时, P(Ri|Ei) (2)当E1,E2,E3都不存在时, P(Ri| ﹁ Ei) 分析：利用公式5，6 答案: 练习 设有如下推理规则： R1: IF E1 THEN (2,0.5)H1 R2: IF E2 THEN (1,0.2)H2 R3: IF E3 THEN (5,0.1)H3 并且已知P(H1)=0.2, P(H2)=0.1, P(H3)=0.4 计算当证据E1,E2,E3存在或不存在时，P(Hi|Ei)或P(Hi|﹁Ei)的值各是多少？(i=1,2,3) 3) 证据E不确定 在现实中,证据往往是不确定的,即无法肯定它一定存在或一定不存在 用户提供的原始证据不精确 用户的观察不精确 推理出的中间结论不精确 假设S是对E的观察,则P(E|S)表示在观察S下, E为真的概率, 值在[0,1]； 此时0P(E|S)1，故计算后验概率P(R|S), 不能使用Bayes公式 可以采用下面的公式修正（杜达公式） 后验概率P(R|S)的计算-1 针对杜达公式，分四种情况讨论 1）E肯定存在，即P(E|S)=1, 且P(﹁ E | S)=0，杜达公式简化为： 注意：同时利用了公式5 后验概率P(R|S)的计算-2 2）E肯定不存在，即P(E|S)=0, P(﹁ E | S)=1，杜达公式简化为： 注意：同时利用了公式6 后验概率P(R|S)的计算-3 3） P(E|S)= P(E)，即E和S无关, 利用全概率公式（公式7），杜达公式可以化为： 后验概率P(R|S)的计算-4 当P(E|S)为其它值（非0，非1，非P(E)）时，则需要通过分段线形插值计算： 后验概率P(R|S)的线性插值图 杜达公式的说明 P(E|S) 由用户给定，但是P(E)和P(E|S)很难区分和取值 解决方法: 替代法 对于原始证据，由用户给定可信度 C(E|S)，对应P(E|S) C(E|S) 取值从-5到5的整数 3. 推理模型 一. 组合证据不确定性的计算 组合证据为多个证据的合取时,即E=E1 AND E2 AN