第20章用贝叶斯网学习和动作案例.ppt

* * 第三部分 知识的表示和推理 第20章 用贝叶斯网学习和动作 学习贝叶斯网 学习一个贝叶斯网的问题是寻找一个网络——它能最好地匹配(按照某个记分度量)一个数据训练集(training set)Ξ，Ξ是所有(至少有一些)变量值的实例集合。说“寻找一个网”， 我们的意思是既要找到DAG结构，也要找到与DAG中每个节点相关的条件概率表(CPT)。 学习贝叶斯网 已知网络结构 如果知道网络的结构，那么只需找到CPT，我们首先描述这种情况。通常，人类专家能对一个问题领域提出适当的结构但不能做出CPT。在我们必须学习网络结构的情况下，学习CPT仍是必需的。 学习CPT有一个比较容易的和一个比较难的两种情况。在容易的情况下，没有缺失的数据，即训练集合己的每个成员对网中表达的每个变量有一个值。然而在更实际的设置中，情况常常是一些训练记录的变量值缺失了；缺失的数据导致更难以学习CPT。 学习贝叶斯网 无缺失数据 已知网络结构 我们用向量变量Pi指称与Vi的双亲有关的变量，用向量值Pi指称这些变量的值。采样统计结果 ，由Ξ中有Vi= vi和Pi= pi的采样数除以有Pi= pi的采样数得到。 假如我们观察了图中G、 M、 B和L的100组值(注意到有些组合没有出现，有些比其他出现得更频繁)。为了计算采样概率 ， 我们只要计算在所有的采样中B为True出现的次数，得到 同样， 。对节点B和L，这些概率正是它们的CPT所需要的。 学习贝叶斯网 已知网络结构 无缺失数据 我们用下面解释的典型计算方式计算节点M的CPT行：为了计算 (简写为 )，计算 M为True、 B为True， L为False的次数，并除以B为True、 L为False的次数。我们得到 。对节点G我们进行相似的计算。可以计算整个采样统计结果集。 注意，在例子中，有些采样统计是基于很小的采样的——导致相应的基础概率的可能不精确评估。一般地讲，一个CPT的指数级数量的大量参数可能无法使训练集对这些参数产生良好评估的能力。如果很多参数有相同(或接近相同)的值，可能会减轻这个问题。 学习贝叶斯网 缺失数据 已知网络结构 在收集被一个学习过程使用的训练数据中，常常发生数据缺失。有时，要被捕获的数据不经意地缺失了，有时数据缺失本身是重要的。这里处理第一种情况。一个简单、收敛的迭代计算采样统计过程已被证明是对之有效的。用刚刚描述的例子来介绍该方法的主要思想。 星号*表示变量值组中与那个位置相关的变量值缺失了。问题是当试图评估这个网络的CPT时，我们如何处理这些缺失值? 学习贝叶斯网 已知网络结构 缺失数据 先考虑三次采样，其中G＝False， M＝ True， L＝True， B的值缺失的情况。这二次采样中的每一次可能有B＝True或B＝False，我们不知道是哪一个。但对这些采样，我们知道G、 M和L的值。因此，虽然不知道B的值，但给定了G、M和L的值，我们能计算B的概率p(B|﹁G，M，L)。 这个概率能用前面讲述的概率推理方法计算——工作在网络结构和网络的CPT上，条件是我们有这些CPT(当然，我们还没有它们，但是将简要讨论这个问题)。因此，为了计算采样统计以估计该网络的CPT，三次采样中的每一次能用两个加权采样代替——一个是B＝True，用p(B|﹁G，M，L)加权，另一个是B＝False，权值为p(﹁B|﹁G，M，L)=1- p(B|﹁G，M，L)。 学习贝叶斯网 已知网络结构 缺失数据 我们把相同的过程应用到7次采样B＝True， L＝True， G和M的值缺失的情形。这些采样中的每一个可由对应组合(G， M)、(G，﹁M)、(﹁G， M)和(﹁G，﹁M)的4个加权采样代替，权值分别是概率p(G,M|B,L),p(G, ﹁M|B,L)、p(﹁G,M|B,L)，和p(﹁G, ﹁M|B,L)。我们可以再次用网络结构和CPT计算这些概率(当在任何一个采样中的缺失值数量很大时，存在指数爆炸的采样危险)。 学习贝叶斯网 已知网络结构 缺失数据 现在，我们能用加权采样(其中，缺失值已被填充——用所有可能的方法)和其他采样(它们中没有缺失值)一起进行频率统计以计算CPT的估计。这个过程与在没有缺失值中描述的过程相同，除了一些计数现在不是整个数量(因为加权)