贝叶斯网络摘要.pptVIP

3 贝叶斯信念网络 接下来考虑下一个数据样本 的概率分布 首先有 而 三、贝叶斯网的学习 1、参数学习 另一方面，由于 具有全局独立性，有 所以 这个公式说的是， 是S-可分解的，因此可以表示为一个以S为结构的贝叶斯网。 3 贝叶斯信念网络 用 表示这个贝叶斯网的参数： 注意， 与贝叶斯网 的参数 不同： 是一个固定的取值，而 则是一个随机变量。 参数 可以按如下公式计算： 三、贝叶斯网的学习 1、参数学习 3 贝叶斯信念网络 由于 是Dirichlet分布 ，因此有 所以， 三、贝叶斯网的学习 1、参数学习 3 贝叶斯信念网络 例 下图所示贝叶斯网S，其中所有变量均取二值，1或2。设图（b）是关于S的一组i.i.d.数据，考虑计算S参数的贝叶斯估计。 三、贝叶斯网的学习 1、参数学习 （a）贝叶斯网S （b）完整数据 3 贝叶斯信念网络 首先，假设先验分布 是乘积Dirichlet分布，且其超参数 分别如下： 三、贝叶斯网的学习 1、参数学习 这等于是假设关于θ的先验知识相当于如下的虚拟数据 ： 它的等价样本量为4 3 贝叶斯信念网络 由前面可知，后验分布 也是乘积Dirichlet分布，其超参数为α 三、贝叶斯网的学习 1、参数学习 下一样本的分布 可以表示为结构如图（a）所示的贝叶斯网。根据前面所求，其参数 为 3 贝叶斯信念网络 网络变量可以是可观测的，或隐藏在所有或某些训练元组中。隐藏数据的情况也称为缺失值或不完全数据。当网络拓扑给定，而某些变量是隐藏的时，可以选择不同的方法来训练信念网络。我们将介绍一种有希望的梯度下降法。 梯度下降法又称最速下降法，它是许多非线性规划算法的一个基础。人们在处理无约束问题时，总希望从某一点出发，选择一个目标函数值下降最快的方法，以利于尽快达到极小点。正是基于这样一种愿望，早在1847年法国数学家Cauchy提出了最速下降法。由于这种方法的每一次迭代都是沿着最速下降方向进行搜索，因此称作最速下降法。 三、贝叶斯网的学习 1、参数学习 3 贝叶斯信念网络 梯度也就是多元函数的一阶导数。设集合 非空，即S是n维欧氏空间中的一个子集，f(x)为定义在S上的实函数。如果f在开集S上连续可微，则函数f在x处的梯度为n维列向量： 三、贝叶斯网的学习 1、参数学习 函数f(x)在点x处沿方向d的变化率可用方向导数来表达，对于可微函数，方向导数等于梯度与方向的内积，即 3 贝叶斯信念网络 因此，求函数f(x)在点x处的下降最快的方向，可归结为求解下列非线性规划： 三、贝叶斯网的学习 1、参数学习 根据Schwartz不等式，有 去掉绝对值符号，可以得到 由上式可知，当 时等号成立。因此，在点x处沿上式所定义的方向变化率最小，即负梯度方向为最速下降方向。 3 贝叶斯信念网络 最速下降法的具体计算步骤如下： 第1步：给定初始数据：起始点 ，给定终止误差 ，令k=0； 第2步：求梯度微量模的值： ； 若 ，停止计算，输出 ，作为极小点的近似值，否则转下一步； 第3步：构造负梯度方向： 第4步：从 出发，沿 进行一维搜索，求 ，使 令 ，置k:=k+1，转第2步。 三、贝叶斯网的学习 1、参数学习 3 贝叶斯信念网络 设D是数据元组 的训练集。训练信念网络意味着必须学习CPT表目的值。设 是具有双亲 的变量的 CPT表目，其中 。 可以看作权重，类似于神经网络中隐藏单元的权重。权重的集合记作W。这些权重初始化为随机概率值。基于 是每个可能设置都是等可能的假定，使用梯度下降策略搜索能最好地对数据建模的 值。这种策略是迭代的。它沿着准则函数的负梯度（即最陡峭下降）搜索解。