智能决策理论与方法--贝叶斯网络精选.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 数据处理与智能决策 * 2. 使用Naive Bayesian标注 M步： E步: 似然 函数 7 半监督文本挖掘算法 (61a) * 数据处理与智能决策 * 试验结果 1000 足球类文档 876 特征词 7 半监督文本挖掘算法 * 数据处理与智能决策 * 贝叶斯网中的证据推理 目的：通过联合概率分布公式，在给定的网络结构 和已知证据下，计算某一事件的发生的概率。 E 网络 证据 查询 推理 贝叶斯推理可以在反复使用贝叶斯规则而获得 = = p(B) A)p(A) | p(B p(B) B) p(A, B) | p(A * 数据处理与智能决策 * 推理方法概述 精确推理 网络的拓扑结构是推理复杂性的主要原因； 当前的一些精确算法是有效地，能够解决现实中的大部分问题 由于对知识的认知程度，精确推理还存在一些问题 近似推理 证据的低似然性和函数关系 是近似推理中复杂性的主要原因 NP Hard * 数据处理与智能决策 * 影响推理的因素 网络结构的特征 网络的拓扑结构 网络的大小 网络中变量的类型（离散、连续） 变量的分布墒 相关查询的特征 任务 查询类型 （批处理、异步执行） 可用的计算资源（嵌入式系统、并行处理） 相关证据的特征 证据的特征 * 数据处理与智能决策 * 查询的任务类型 预测 对给定的模型，将要发生什么 给定证据下的后验计算 所有的边界后验 指定的边界后验 指定的联合条件查询 最可能的假设 一个最可能的 n 个最可能的 决策策略 * 数据处理与智能决策 * 医疗诊断例子 贝叶斯推理中非条件分布和边界分布是常见的查询模式 一个节点的边界分布也称为该节点的信任函数 * 数据处理与智能决策 * 推理过程中的信任传播 * 数据处理与智能决策 * 推理算法 精确推理 联合概率计算 Na?ve Bayesian 图约简算法 Polytree算法 近似推理 前向模拟推理 随机模拟推理 The algorithm’s purpose is “… fusing and propagating the impact of new evidence and beliefs through Bayesian networks so that each proposition eventually will be assigned a certainty measure consistent with the axioms of probability theory.” (Pearl, 1988, p 143) * 数据处理与智能决策 * 精确推理－计算联合概率 任何查询都可以通过联合概率回答 步骤： 计算联合概率 P(AB)=P(A)*P(B|A) 边界化不在查询中的变量 P(B)=ΣAP(AB) 效率低 A B * 数据处理与智能决策 * 图约简算法－一般原理 基本观点 任何概率查询可以表示成网络的子网，推理的目的是把网络分解成几个子网 三个基本操作 拟转弧操作（Arc Reversal）－贝叶斯公式 孤寡点移出(Barren node removal)－求和公式 值节点归并(Merge with Value node)－期望最大化 * 数据处理与智能决策 * 约简算法－拟转弧操作 X1 X3 X2 X1 X3 X2 X1 X3 X2 X1 X3 X2 p(x1, x2, x3) = p(x3 | x1) p(x2 | x1) p(x1) p(x1, x2, x3) = p(x3 | x2, x1) p(x2) p( x1) p(x1, x2, x3) = p(x3 | x1) p(x2 , x1) = p(x3 | x1) p(x1 | x2) p( x2) p(x1, x2, x3) = p(x3, x2 | x1) p( x1) = p(x2 | x3, x1) p(x3 | x1) p( x1) * 数据处理与智能决策 * 约简算法－孤寡点移出 孤寡点－没有孩子的节点 * 数据处理与智能决策 * 约简算法－值节点归