高斯型单连接网络分布估计算法的全局优化 中文供参习.doc

附件C：译文 高斯型单连接网络分布估计算法的全局优化 Ignacio Segovia Dom′?nguez, 阿图罗·埃尔南德斯·阿吉雷 Enrique Villa Diharce 墨西哥瓜纳华托数学研究中心 摘要：本文介绍了一个新的构造方法：高斯单连接网络分布估计算法，以及它在连续变量下的分布估计算法及其应用。假设变量为高斯，树型拓扑和边缘定位算法的建设是基于信息论概念，如互信息和条件互信息等来构造的。高斯型单连接网络分布估计算法被提议用标准问题进行测试，实验结果表明，该方法是比较准确的。 关键词：单连接网络，分布估计算法，最优化。 1. 介绍 在人工智能中，单连接网络间接寻址图形模型被广泛应用，例如，在贝叶斯网络中，单连接网络是实际的曲线图，因为他们支持线性时间的概率推理。单连接网络在其他一些类似的方向的应用, 那就是, 单连接网络是经常被用来联合概率分布模型的一些数据。因为树编码作为产品的条件分布的联合概率，这样的概率分布模型也称为工厂化的分布。 在本文中，我们关心的是单连接网络使用和其结构和它的仿真算法。此外，我们评估，单连接网络带来的分布估计算法的性能改善。如前所述，单连接网络图已被J.明珠贝叶斯网络应用，但德坎波也过度的研究了因果网络。最近，索托应用单连接网络近似分布算法研究单连接网络模型在分布估计算法的分布与单连接网络近似分布算法，被称为单连接网络近似分布算法。但是，请注意，在所有提到的方法变量是二进制的。本文的目标是引入连续变量单连接网络，也就是说，单连接网络在连续域高斯变量及其应用中使分布估计算法最优化。所提出的方法被称为高斯单连接网络分布估计算法。具有连续变量的单连接网络已由欧尔顿研究。在本文中，我们延长提出的海报，我们进一步发展欧尔顿的工作。我们引入两个新的算法功能到高斯单连接网络：1）基于有条件的互信息一个新的方向的方法，我们也证明我们的做法是正确的；2）模型的过拟合通过比较条件和边际互信息优势，界限值的确定也可以解释。 本文组织如下：第2节介绍了两个离散变量的单连接网络算法; 第3节介绍了如何建立一个高斯单连接网络；而第4条规定的实施细则；第5章介绍了两组实验，并提供了与其他相关方法的比较；第6条规定了未来研究的结论和方向。 2. 相关工作 当边缘是无向时，一个单连接网络是一个有向无环图（任意两个节点之间只有一条路径）。在分布估计算法中，单连接网络分布估计算法是第一个提出用单连接网络为二进制变量工作的。构建单连接网络近似分布算法的公式（边缘）是使用互信息和条件互信息作为衡量标准。因此，当条件互信息大于边缘交互信息，节点Xk是头节点。因此，头节点的头意味着，当第三个节点Xk被列入时，两个节点Xi，Xj共享的信息增大，为过拟合控制两个参数1，2的目标，以过滤掉（弱）的依赖。然而，有关如何设置这些参数在单连接网络近似分布算法文学中没有建议。 高斯型单连接网络是把一个多元的正太分布分解成一些基本的运算表示，连合概率密度函数等于高斯型条件概率乘以根节点概率，公式如： 最近的一项利用深度优先搜索算法的边缘定位方法。基于以前工作在欧尔顿的Rebane和珍珠。假设，周与刘算法可以不依赖树型拓扑提供数据。然后，他们通过在一定深度的依赖树沿着边缘方向优先搜索。必须首先检测的衔接点和因果盆地。他们用自己的方式尝试解决四个方面的问题，例如如何遍历树，已经走过的边缘做什么（没有完全解决由Rebane和珍珠）。对于边缘方向，如果Z有X和Y为根节点，他们的算法执行对X和Y节点Z边缘的独立测试以决定。如果他们是独立的节点，那节点Z是一个头节点。 3. 高斯型单连接网络的构建 我们在下面描述构建一个高斯单连接网络所需的主要步骤。 3.1 高斯周与刘树： 构建一个高斯单连接网络的第一步是构建高斯周刘依赖树（我们使用的二进制依赖树周与文献相同的方法）。周刘算法中互信息是判断依赖性的根据。该算法随机选择一个节点，并宣布它的根。然后用于创建一个最大重量生成树Kruskal算法。由此产生的树总互信息最大化，它是最佳逼近时，像分解树分布数据的真实分布。在高斯周与刘树的离散变量的情况下，用类似的方式创建。互信息也是最大似然估计，二阶分布高斯周柳树是最佳逼近的产品工厂化每当一个多元正态分布。对于普通变量，互信息定义为： 对于高斯变量，培生相关系数Rxy被定义为： 边缘方向： 确定树边缘的方向的步骤是基于根的位置：如果是三个一组的X ? Z ? Y，其中独立的变量X、Y是作为根，那么Z是头节点，即：X → Z ← Y。类似的，如果在三重X→Z ?Y的变量X和Y是独立的，节点X、Y作为根节点，那Z是头节点，X → Z ← Y ；否则，Z是Y的根节点：X → Z → Y。 在本文中，我们提出信息论措施，有条件的互信息（CMI）