- 1、本文档共29页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
贝叶斯网络的参数学习 - Read
Issues in Bayesian Networks Outlines 贝叶斯网的引入 图表示的引入 贝叶斯网作为框架对其他模型的分析 图论观点和概率论观点的对应 贝叶斯网上的推理 被证明是NPC,变量消元法(Poole 1996) 贝叶斯网的学习 分为结构学习和参数学习 贝叶斯网的引入 联合概论分布 随着变量数量指数增长 利用问题中的独立性简化分布的表示 对于任意的 ,如果存在 ,则得到了一个联合概论分布的一个分解,使得原来的指数级变为 图表示的引入 每个变量表示为一个节点 每个节点 ,从 中向X引一条有向边 在语义上,使联合概率分布的一种表示 优点: 虽然没有进一步减少复杂度,但为概论推理提供了方便,有利于计算机处理,并且易于理解 贝叶斯网框架对其他模型的解释 Na?ve Bayes TAN 图论观点和概率论观点的对应 定理(局部马尔可夫性):在一个贝叶斯网中,给定变量X的父节点 ,则X条件独立于他的所有非后代节点: 贝叶斯网上的推理 推理是实际上是一个计算过程: 在给出某些变量的取值的条件下,计算贝叶斯网络中另外一些变量的后验概率分布 如在Alarm网络中,如已知MaryCall变量的值计算发生地震的概率,即计算的值。其中MaryCall被称为证据变量,Earthquake称为查询变量。 推理的分类 根据查询变量和证据变量的位置不同,后验假设问题又分为四种不同类型: 1,从结果到原因的诊断推理,如已知Mary打过电话,推断发生地震的概率。 2,从原因到结果的预测推断,如已知发生盗窃(Burglary=True),推断接到Mary电话的概率。 3,在统一结果的不同原因之间的原因关联推理,如已知铃响(Alarm=true)和发生了地震(Earthquake=true),推断同时发生盗窃的概率。 4,包含多种上述类型的混合推理,如接到John的电话(JohnCall=true)的同时知道发生了地震(Earthquake=true),推断铃响的概率。 无论何种类型的推理问题,都可通过将全局联合概率分布中的某些项相加获得。 X如果代表查询变量,e为证据变量的取值,Y为其余变量集合。那么查询变量概率分布可以通过 公式获得。 有了上式,我们可以得到一个解决推理问题的算法。以一个链状的贝叶斯网络为例 已知 P(A) P(B|A) P(C|B) P(D|C) 计算P(D) 根据公式 我们有 很自然,我们可以将上式变为 计算P(D)方法如下 1,CPT是贝叶斯网络的条件概率分布集合 CPT={P(A),P(B|A),P(C|B),P(D|C)} 2,从CPT中删去含有A的函数P(A),P(B|A);加入一个新函数 得到新的CPT={f(B),P(C|B),P(D|C)} 3,从CPT中删去含有B的函数f(B),P(C|B);加入一个新函数 得到新的CPT={f(C),P(D|C)} 4, 从CPT中删去含有B的函数f(B),P(C|B);加入一个新函数 得到新的CPT={f(D)} 得到的f(D)就是所求的P(D) 变量消元法 将上述的算法一般化,就得到了一种常用的,有效的贝叶斯网络上的推理算法:变量消元法 算法复杂度 空间复杂度O(n) 时间复杂度 每一次消元代价 总的代价即为所有非查询节点消元代价之和 易见是NPC 贝叶斯网络的学习 参数学习和结构学习 贝叶斯网络的参数学习 在结构已知且数据完整的情况下,参数学习就是在数据上统计满足条件的样本数目, 例在贝叶斯网络Bn中学习一个父节点为Parent(x)的节点X的条件概率表,只要计算数据集中频率f(X=k|parenti(X)=j),方法为统计数据集中满足X=k,Parent(X)=j的样本数目,然后计算在所有k,j取值中所占比例,作为P(X|parent(X))中的一项填入条件概率表中。 Example for training BN Example for training BN 数据不完整的BN网络参数学习 一般使用EM算法 Loop 1,使用学习好的参数将不完整数据补充完整 2,利用补充好的数据学习参数 3,if condition==false go to loop 贝叶斯
文档评论(0)